Skip to main content

知识库对话效果

知识库是用来管理你的 私有知识 的容器,可将自有的知识内容上传到知识库中,LinkAI将会自动解析和加工你的文档,提供给AI应用“训练”。面对用户提问时,根据问题检索语义相似的知识库语料,然后把问题及匹配的语料提供给大模型,大模型结合检索到的知识库语料以及应用设定(系统提示词)来做出回复。

如果上传知识库并测试问答之后,觉得并没有使用知识库或回答效果不好,请参考以下步骤进行问题排查和优化:

1. 确定应用类型及绑定知识库

1.1 使用知识库应用


LinkAI平台上的应用分为轻量应用知识库应用,使用知识库的前提是需要创建知识库应用。如果创建的是轻量应用,可以按照下图指示,升级到知识库应用。


1.2 绑定知识库

如果已是知识库应用,进入应用配置界面,确认绑定了相关的知识库



2. 查看使用记录

在使用知识库应用 或 使用工作流(内含应用节点或知识库节点)对话时,每次对话都可在我的账号页面查看使用记录详情。


在使用记录详情中,除了本次对话的请求(提问)、结果(回复),还可以查看本次对话命中的知识库语料 。如未命中,则代表本次对话未检索到知识库内容;如命中,可查看命中的语料是否符合预期(即是否和问题相关,是否是自己上传的知识库中可用于回答该问题的相关语料)。在使用详情中可直接点击【查看详情】一键跳转至知识库中查看该条语料内容,并进行编辑修改。



3. 检索测试

在第2步可确定一次问答所命中的知识库内容语料有哪些,如未命中预期可用于回复的知识库内容,可进一步使用知识库的检索测试功能来排查:

3.1 检索测试结果

在知识库-检索测试中,可将用户提问的问题进行检索,测试出语义相似度最高的十条语料。



检索方式可以选择我们应用配置里的方式,然后把问题复制粘贴到测试文本框内,点击检索

检索结果会按照与问题的相关性展示语义检索结果(左)和全文检索结果(右,如使用增强检索则有):

  • 语义检索结果是根据问题和知识库语料的语义相似度来排序;
  • 全文检索结果简单理解是基于关键词匹配进行排序。

如发现预期应该检索到的知识库内容在检索测试结果中排序比较低(即相似度较低),则可能是应用配置-知识库配置中的语义检索相似度阈值设置较低,可参考3.2进行修改

3.2 知识库配置

有了排序结果,把哪些语料发给大模型,取决于我们在应用配置的参数:检索方式语义相似度阈值检索条数



以上图配置为例:

  • 单次检索条数决定了最多会把检索测试结果中的4条语料发给大模型,其中包括语义检索条数全文检索条数
  • 语义相似度阈值决定了检索测试结果中展示的语义检索结果相似度高于0.78的语料才会发给大模型。
  • 而语义检索的条数、语义检索的相似度阈值、全文检索的条数上限,均可自主配置,如下图:

配置说明可参考知识库章节应用绑定知识库部分的解释。

通过检索测试结果,我们可以清晰地知道一个用户提问发生时,哪些知识库内容会被命中并发给大模型来生成回复,那么针对不同的情况,调整对应的参数即可,例如:

  • 如果语义检索结果中语料的相似度都普遍偏低,我们可以降低语义相似度阈值;反之,则调高。以此,来保证发给大模型的语料尽可能和问题相关
  • 如果知识库语料彼此之间相似度差别比较大,我们降低检索条数,避免发送和问题关系不大的语料给大模型,同时降低token消耗;反之,我们要适当提高检索条数,以保证问题相关语料的完整性。

4. 模型配置


4.1 应用设定

针对知识库部分,通过应用设定,我们可以进一步控制大模型如何回复,比如:

  • 我们想要大模尽可能遵循知识库,没有提供知识库的问题回复固定的话术,可以在应用设定这么写(示例,仅供参考):

    ## 你的角色
    你是xxxx,你的任务是根据提供的知识库内容回复用户的问题,注意回答要准确,易读。

    ## 注意
    - 如果没有提供知识库信息或根据提供的知识库内容无法回复的时候,请告知用户联系人工客服。
  • 知识库中我们会放一些文件或者图片的链接,大模型看到的只是链接,并不知道链接里面是什么,这个时候需要我们在应用设定进行额外的要求:

    ## 你的角色
    你是xxxx,你的任务是根据提供的知识库内容回复用户的问题,注意回答要准确,易读。

    ## 注意
    - 如果没有提供知识库信息或根据提供的知识库内容无法回复的时候,请告知用户联系人工客服。
    - 请把提供的知识库信息中的链接,都直接发送出来

4.2 温度

温度越高回复越具有创意和不确定性,越低越具有严谨性。知识库应用场景,一般要求回复要尽可能准确,建议取值在0~0.2之间。

4.3 模型

不同的模型对应用设定遵循的程度不一样,回复效果可能也差别很大,可以多测试对比,目前一般推荐LinkAI-4o-mini模型,性能接近LinkAI-4o且单价不到LinkAI-3.5-Turbo的一半,是目前最具性价比的模型。