모델 라우팅

AllToken에 요청을 보내면, 플랫폼은 요청된 모델의 가용 공급자를 평가하고 다음 요소를 기반으로 최적 경로를 선택합니다:

• 가용성 — 공급자가 정상 상태이고 응답하고 있는가?
• 지연시간 — 어떤 공급자의 응답 시간이 가장 낮은가?
• 비용 — 어떤 공급자의 가격이 가장 저렴한가?
• 우선순위 — 사용자가 공급자 선호도를 설정했는가?

이 모든 과정이 매 요청마다 투명하게 이루어지며, 공급자 선택을 직접 관리할 필요가 없습니다.

설정 → API Keys에서 Key별로 라우팅 동작을 설정하세요:

• 스마트 라우팅 — AllToken이 자동으로 최적의 공급자 경로를 선택합니다. 대부분의 시나리오에 권장됩니다.
• 기본 모델 — 요청에 모델이 지정되지 않은 경우 사용할 모델.
• 강제 모델 — 클라이언트가 무엇을 보내든 항상 지정된 모델을 사용합니다.

각 모델은 여러 공급자를 통해 제공될 수 있습니다. AllToken은 과거 성능을 기반으로 각 공급자에 우선순위 점수를 부여합니다. 모델 상세 페이지의 "사용 가능한 공급자"에서 우선순위 순위를 확인할 수 있습니다.

우선순위 1이 첫 번째 선택 공급자입니다. 사용 불가한 경우 AllToken은 우선순위 2로 폴백하며, 이후도 마찬가지입니다.