Routage et registre de modèles
Configurer modèle par défaut, mode du registre, règles conditionnelles et destinations fournisseurs.
La passerelle décide pour chaque requête quel modèle utiliser et où l’envoyer. Le registre centralise les modèles autorisés.
Registre#
Dans Model Inventory, un ensemble initial de modèles (désactivés par défaut) est créé au premier démarrage. Add custom model ajoute ID, fournisseur, URL backend et API key facultative. Edit modifie le modèle ; Register enregistre un modèle découvert (shadow) ; Delete supprime un modèle personnalisé.
Chaque modèle utilise le protocole openai ou anthropic. Les ID claude-* utilisent anthropic par défaut, modifiable par modèle.
Modèle et backend par défaut#
| Paramètre | Fonction | Emplacement |
|---|---|---|
| Default model | Modèle utilisé si le client omet model. | Settings -> Default Model |
| Default backend | Destination si le modèle n’a pas d’URL propre. | Settings -> Default Backend |
1. Le client fournit-il X ? non -> DEFAULT MODEL
2. X a une URL backend ? oui -> utiliser cette destination et sa clé
sinon -> DEFAULT BACKEND
3. Aucun backend ? -> 400 backend_not_configuredMode strict#
Reject Unregistered Models : OFF route les modèles inconnus vers le backend par défaut ; ON renvoie 400 model_not_registered. Un modèle désactivé renvoie 400 model_disabled dans les deux modes.
Routage conditionnel#
Champs pris en charge : agent, agentgroup, agenttag, ip, model, group, risk, flag et header name (where name is the header field). Opérateurs : Equals, NotEquals, GreaterThan, GreaterOrEqual, LessThan, LessOrEqual, In, NotIn et Matches (regex). Les conditions d’une règle utilisent AND ; les règles sont ordonnées et la première correspondance gagne. La destination est un modèle enregistré ou une URL directe ; les groupes sont des critères seulement. Les identifiants inconnus échouent de façon sûre.