模型路由
AllToken 如何将请求路由到最佳供应商。
路由机制
当你向 AllToken 发送请求时,平台会评估所请求模型的可用供应商,并根据以下因素选择最优路由:
- 可用性 — 供应商是否健康且正在响应?
- 延迟 — 哪个供应商的响应时间最低?
- 成本 — 哪个供应商的价格最优?
- 优先级 — 用户是否配置了供应商偏好?
这一切在每次请求时透明进行,你无需自行管理供应商选择。
路由模式
在 设置 → API Keys 中按 Key 配置路由行为:
- 智能路由 — AllToken 自动选择最佳供应商路径。推荐大多数场景使用。
- 默认模型 — 如果请求未指定模型,则使用此模型。
- 强制模型 — 无论客户端发送什么,始终使用指定模型。
供应商优先级
每个模型可能通过多个供应商提供。AllToken 根据历史性能为每个供应商分配优先级分数。你可以在模型详情页的"可用供应商"中查看优先级排名。
优先级 1 是首选供应商。如果不可用,AllToken 会回退到优先级 2,以此类推。