概览

选择模型:每一步的自定义 LLM

NN Agent 允许为脚本的每一步指定自己的语言模型。您可以添加自己的 LLM 提供者,并决定在哪些地方需要最高质量,在哪些地方可以使用快速且便宜的模型。

为什么这很重要#

一款模型应对所有任务——这在规模上是多余的。热切的潜在客户在谈判中、需要分析的长文档以及常见问题中的典型问题的价值各不相同,但在统一设置下却以最高的价格计费。

NN Agent 估计这种划分的节省是单一模型的 3-5 倍。

模型如何分配#

模型在场景节点级别选择。典型的划分:

场景步骤 需要什么模型
与热线客户谈判 可用中最强的
长文档的解析 具有大上下文的模型
消息分类,典型问题 快速且便宜

具体模型由您自行连接:NN Agent 接受您的 LLM 提供者,而不是强制使用一个。

与聊天流的联系#

每个节点在 聊天流 中显示所选模型,紧挨着块的名称,因此场景的价格是显而易见的,而不是单独计算。

继续#

  • 聊天流程 — 模型具体被指定的位置。
  • 知识库 — 模型作为事实来源所使用的内容。

Updated

选择模型:每一步的自定义 LLM — NN Agent