Modellauswahl: eigenes LLM für jeden Schritt
Der NN-Agent ermöglicht es, jedem Schritt des Szenarios ein eigenes Sprachmodell zuzuweisen. Sie fügen Ihre LLM-Anbieter hinzu und entscheiden, wo maximale Qualität erforderlich ist und wo ein schnelles und günstiges Modell ausreicht.
Warum ist das notwendig#
Ein Modell für alle Aufgaben — das ist eine Überzahlung auf das Volumen. Ein heißer Lead in Verhandlungen, ein langes Dokument zur Durchsicht und eine typische Frage aus dem FAQ kosten unterschiedlich, werden aber bei einer einheitlichen Einstellung gleich berechnet — nach dem teuersten.
NN Agent nennt die Einsparungen durch eine solche Aufteilung 3–5 Mal im Vergleich zu einem Modell für alles.
Wie Modelle zugewiesen werden#
Das Modell wird auf der Ebene des Szenario-Knotens ausgewählt. Typische Aufteilung:
| Szenariostep | Welches Modell benötigt wird |
|---|---|
| Verhandlungen mit einem heißen Lead | Das stärkste verfügbare |
| Analyse eines langen Dokuments | Modell mit großem Kontext |
| Klassifizierung einer Nachricht, typischer Frage | Schnell und kostengünstig |
Die spezifischen Modelle schließen Sie selbst an: NN Agent akzeptiert Ihre LLM-Anbieter und zwingt keinen einzelnen auf.
Verbindung mit Chat-Flow#
Jeder Knoten im Chat-Flow zeigt das ausgewählte Modell neben dem Blocknamen an, sodass der Preis des Szenarios auf einen Blick sichtbar ist und nicht separat berechnet wird.
Weiter#
- Chat-Flow — wo genau das Modell zugewiesen wird.
- Wissensdatenbank — was das Modell als Faktenquelle verwendet.