Modell-Routing

Wenn Sie eine Anfrage an AllToken senden, bewertet die Plattform die verfügbaren Anbieter für das angeforderte Modell und wählt die optimale Route anhand folgender Kriterien:

• Verfügbarkeit — Ist der Anbieter aktiv und reagiert er?
• Latenz — Welcher Anbieter hat die kürzeste Antwortzeit?
• Kosten — Welcher Anbieter ist am kostengünstigsten?
• Priorität — Hat der Nutzer Anbieterpräferenzen konfiguriert?

Dieser Prozess läuft bei jeder Anfrage transparent ab – Sie müssen die Anbieterauswahl nicht selbst verwalten.

Konfigurieren Sie das Routing-Verhalten pro Schlüssel unter Einstellungen → API-Schlüssel:

• Intelligentes Routing — AllToken wählt automatisch den optimalen Anbieter. Für die meisten Anwendungsfälle empfohlen.
• Standardmodell — Wird verwendet, wenn die Anfrage kein Modell angibt.
• Erzwungenes Modell — Wird immer verwendet, unabhängig davon, was der Client sendet.

Jedes Modell kann über mehrere Anbieter bereitgestellt werden. AllToken vergibt jedem Anbieter einen Prioritätswert basierend auf der historischen Performance. Sie können die Prioritätsrangliste auf der Modelldetailseite unter „Verfügbare Anbieter" einsehen.

Priorität 1 ist der bevorzugte Anbieter. Ist dieser nicht verfügbar, weicht AllToken auf Priorität 2 aus, und so weiter.