Referencia de Model Inventory
Filtros, estados, protocolos, resiliencia, compresión, parámetros avanzados, grupos y reglas de enrutamiento de Model Inventory.
Model Inventory es el lugar central para administrar modelos.
Lista y filtros#
La tabla incluye modelos registrados, deshabilitados y descubiertos. Los filtros del servidor permiten buscar por ID, proveedor o URL de backend y filtrar por estado (registered, disabled, discovered), junto con paginación.
Acciones de modelo#
- Enable / Disable cambia entre registered y disabled. Las solicitudes a modelos deshabilitados se rechazan con 400 model_disabled.
- Add custom model agrega ID, proveedor, URL de backend, API key opcional y protocolo.
- Edit actualiza proveedor, URL, API key, protocolo y ajustes del modelo.
- Register convierte un modelo descubierto (shadow) en registrado.
- Delete elimina un modelo personalizado.
Ajustes por modelo#
| Ajuste | Control |
|---|---|
| Protocol | openai o anthropic; las facades traducen entre ellos. |
| Key mode | Override del comportamiento de la clave upstream. |
| Streaming mode | Override entre streaming buffered y live. |
| Resilience | Límite y estados de reintento, modo off/failover/distribute, PrimaryShare y AlternateEndpoints. |
| Compression | Override por modelo: inherit / on / off. |
| Advanced parameters | Parámetros de solicitud que se inyectan si faltan o se fuerzan. |
Model groups y reglas de enrutamiento#
La página también incluye Model Groups para crear, editar, eliminar y seleccionar miembros, y Routing Rules como lista ordenada con habilitar, deshabilitar, reordenar y editar/eliminar. Consulte la guía de enrutamiento de modelos.
Shadow AI#
Los modelos desconocidos observados en el tráfico aparecen bajo Shadow AI (unregistered) y en el Dashboard para que pueda revisarlos y registrarlos.