Выбор модели: своя LLM под каждый шаг
Зачем это нужно#
Одна модель на все задачи — это переплата на объёме. Горячий лид в переговорах, длинный документ на разбор и типовой вопрос из FAQ стоят по-разному, но при единой настройке тарифицируются одинаково — по самой дорогой.
NN Agent называет экономию от такого разделения в 3–5 раз по сравнению с одной моделью на всё.
Как назначаются модели#
Модель выбирается на уровне узла сценария. Типичное разделение:
| Шаг сценария | Какая модель нужна |
|---|---|
| Переговоры с горячим лидом | Самая сильная из доступных |
| Разбор длинного документа | Модель с большим контекстом |
| Классификация сообщения, типовой вопрос | Быстрая и недорогая |
Конкретные модели вы подключаете сами: NN Agent принимает ваших LLM-провайдеров, а не навязывает одного.
Связь с чат-флоу#
Каждый узел в чат-флоу показывает выбранную модель рядом с названием блока, поэтому цена сценария видна глазами, а не считается отдельно.
Дальше#
- Чат-флоу — где именно назначается модель.
- База знаний — что модель использует как источник фактов.