模型路由

AllToken 如何将请求路由到最佳供应商。

路由机制

当你向 AllToken 发送请求时,平台会评估所请求模型的可用供应商,并根据以下因素选择最优路由:

  • 可用性 — 供应商是否健康且正在响应?
  • 延迟 — 哪个供应商的响应时间最低?
  • 成本 — 哪个供应商的价格最优?
  • 优先级 — 用户是否配置了供应商偏好?

这一切在每次请求时透明进行,你无需自行管理供应商选择。

路由模式

设置 → API Keys 中按 Key 配置路由行为:

  • 智能路由 — AllToken 自动选择最佳供应商路径。推荐大多数场景使用。
  • 默认模型 — 如果请求未指定模型,则使用此模型。
  • 强制模型 — 无论客户端发送什么,始终使用指定模型。

供应商优先级

每个模型可能通过多个供应商提供。AllToken 根据历史性能为每个供应商分配优先级分数。你可以在模型详情页的"可用供应商"中查看优先级排名。

优先级 1 是首选供应商。如果不可用,AllToken 会回退到优先级 2,以此类推。