Selección de modelo: su LLM para cada paso
NN Agent permite asignar a cada paso del guion su propio modelo de lenguaje. Agrega sus proveedores de LLM y decide dónde se necesita la máxima calidad y dónde es suficiente un modelo rápido y barato.
¿Por qué es necesario?#
Un modelo para todas las tareas es un sobrecoste en volumen. Un cliente potencial en negociaciones, un documento largo para analizar y una pregunta típica de FAQ tienen diferentes costos, pero con una única configuración se facturan igual — al más caro.
NN Agent menciona un ahorro de 3 a 5 veces con esta división en comparación con un solo modelo para todo.
Cómo se asignan los modelos#
El modelo se elige a nivel de nodo de script. División típica:
| Paso del script | Qué modelo se necesita |
|---|---|
| Negociaciones con un cliente potencial caliente | El más fuerte de los disponibles |
| Análisis de un documento largo | Modelo con un contexto amplio |
| Clasificación de mensajes, pregunta típica | Rápida y económica |
Usted conecta los modelos específicos: NN Agent acepta a sus proveedores de LLM, en lugar de imponer uno.
Relación con chat-flow#
Cada nodo en chat-flow muestra el modelo seleccionado junto al nombre del bloque, por lo que el precio del escenario es visible a simple vista y no se calcula por separado.
Siguiente#
- Flujo de chat — dónde se asigna el modelo.
- Base de conocimientos — qué utiliza el modelo como fuente de hechos.