モデルルーティング

AllToken がリクエストを最適なプロバイダーにルーティングする仕組み。

ルーティングの仕組み

AllToken にリクエストを送信すると、プラットフォームはリクエストされたモデルの利用可能なプロバイダーを評価し、以下の要素に基づいて最適なルートを選択します:

  • 可用性 — プロバイダーは正常に応答していますか?
  • レイテンシ — どのプロバイダーの応答時間が最も短いですか?
  • コスト — どのプロバイダーの価格が最も優れていますか?
  • 優先度 — ユーザーがプロバイダーの優先順位を設定していますか?

これはすべてのリクエストで透過的に行われ、プロバイダーの選択を自分で管理する必要はありません。

ルーティングモード

設定 → API Keys で Key ごとにルーティング動作を設定してください:

  • スマートルーティング — AllToken が自動的に最適なプロバイダーパスを選択します。ほとんどのユースケースに推奨。
  • デフォルトモデル — リクエストでモデルが指定されていない場合にこのモデルを使用します。
  • 強制モデル — クライアントが何を送信しても、常に指定したモデルを使用します。

プロバイダー優先度

各モデルは複数のプロバイダーから提供される場合があります。AllToken は過去のパフォーマンスに基づいて各プロバイダーに優先度スコアを割り当てます。モデル詳細ページの「利用可能なプロバイダー」で優先度ランキングを確認できます。

優先度 1 が第一候補のプロバイダーです。利用できない場合、AllToken は優先度 2 にフォールバックし、以降も同様に続きます。