Skip to main content

大模型

大模型节点在工作流中使用时,可将前序节点的输出(以及自定义的文本)以参数的形式插入来作为输入的问题,还可设置该节点的默认系统提示词,然后基于问题和系统提示词通过模型输出智能回复。

1. 功能简介

  • 支持选择LinkAI应用中支持的所有模型OpenAI系列, Claude系列, Gemini系列, wenxin(文心一言)系列, qwen(通义千问)系列, xunfei(讯飞星火), chat-GLM(智谱), Kimi(月之暗面)系列, doubao(豆包)系列

  • 支持设置系统提示词(即经过该节点时默认发给模型的提示词)

  • 支持添加其他节点的输出作为大模型节点的输入(默认使用上一节点的输出)

  • 支持设置模型的温度(严谨程度)

  • 支持设置模型节点携带工作流输入输出记录作为上下文记忆

2. 配置说明

  1. 节点输入:即发给大模型的问题。默认为上一节点的输出,可手动修改为前序其他节点的输出,或插入多个前序节点的输出,及添加自定义的文本,共同组合作为“问题”。注意:该节点与开始节点直接或间接连通,才可选择前序节点的输出参数。
  2. 系统提示词:系统提示词非常重要,决定了机器人的人物设定、功能和工作特征,请尽可能用详细的自然语言进行描述,越具体效果越好。
  3. 温度:温度越高回复越具有创意和不确定性,温度越低则回复更严谨。
  4. 模型选择:可根据需求任意选择LinkAI全平台支持的大语言模型。
  5. 记忆:使用工作流输入输出记录作为上下文,便于模型参考历史对话情况进行更好的推理决策或回复。可选择是否开启记忆,及设置该节点保留工作流记忆的轮次,最高支持携带10轮记忆。
提示

1.每一轮记忆指整个工作流运行一次产生的开始节点输入内容和结束节点输出内容(不包含中间过程内容)。

2.工作流的记忆内容可能经过了多个与本节点无关的节点加工后得出,请根据实际需求选择是否开启记忆功能。

3.当前记忆默认保留30分钟


3. 高级用法:结构化输出

工作流的 大模型节点 中支持输出变量的定义,模型可从用户的自然语言问题中智能提取出结构化参数,供后续节点使用:



大模型节点将以JSON格式输出,同时后续节点可直接引用输出的变量:



提示

使用结构化输出模式,大模型节点可以更加灵活地用于参数提取、决策判断等场景,并更准确的以变量的形式向后置节点传递。例如从对话中提取到的结构化信息,可以选择存入数据库、使用代码块进一步处理、或者通过自定义插件与业务系统交互等,进一步释放大模型的潜力。