Référence Model Inventory
Filtres, états, protocoles, résilience, compression, paramètres avancés, groupes et règles de routage.
Model Inventory est l’emplacement central de gestion des modèles.
Liste et filtres#
Le tableau répertorie les modèles registered, disabled et discovered. Les filtres serveur recherchent par ID, fournisseur ou URL backend, et filtrent par état, avec pagination.
Actions#
- Enable / Disable bascule entre registered et disabled ; une requête vers un modèle désactivé renvoie 400 model_disabled.
- Add custom model ajoute ID, fournisseur, URL backend, API key facultative et protocole.
- Edit modifie fournisseur, URL, API key, protocole et paramètres du modèle.
- Register promeut un modèle découvert (shadow).
- Delete supprime un modèle personnalisé.
Paramètres par modèle#
| Paramètre | Contrôle |
|---|---|
| Protocol | openai ou anthropic ; les facades traduisent les protocoles. |
| Key mode | Override du comportement de clé upstream. |
| Streaming mode | Override buffered ou live. |
| Resilience | Retry, statuts, off/failover/distribute, PrimaryShare et AlternateEndpoints. |
| Compression | Override : inherit / on / off. |
| Advanced parameters | Injection si absent ou forçage de paramètres de requête. |
Model Groups et règles de routage#
Model Groups permet créer, modifier, supprimer et sélectionner des membres. Routing Rules est une liste ordonnée avec activation, désactivation, réorganisation et édition. Voir le guide de routage.
Shadow AI#
Les modèles inconnus vus dans le trafic apparaissent dans Shadow AI (unregistered) et dans Dashboard pour examen et enregistrement.