Referência do Model Inventory
Filtros, estados, protocolos, resiliência, compressão, parâmetros avançados, grupos e regras de roteamento.
Model Inventory é o local central de gerenciamento de modelos.
Lista e filtros#
A tabela lista modelos registrados, desabilitados e descobertos. Filtros no servidor pesquisam ID, provedor ou URL backend, filtram status e combinam paginação.
Ações de modelo#
- Enable / Disable alterna registered e disabled; solicitações a modelo desabilitado retornam 400 model_disabled.
- Add custom model adiciona ID, provedor, URL backend, API key opcional e protocolo.
- Edit atualiza provedor, URL, API key, protocolo e ajustes.
- Register promove modelo descoberto (shadow).
- Delete remove modelo personalizado.
Configurações por modelo#
| Configuração | Controle |
|---|---|
| Protocol | openai ou anthropic; facades traduzem entre protocolos. |
| Key mode | Override da chave upstream. |
| Streaming mode | Override entre buffered e live. |
| Resilience | Limite/status de retry, off/failover/distribute, PrimaryShare e AlternateEndpoints. |
| Compression | Override: inherit / on / off. |
| Advanced parameters | Injeta se ausente ou força parâmetros da solicitação. |
Grupos e regras de roteamento#
Model Groups cria, edita, exclui e seleciona membros. Routing Rules é lista ordenada com habilitar, desabilitar, reordenar e editar/excluir. Consulte o guia de roteamento.
Shadow AI#
Modelos desconhecidos vistos no tráfego aparecem em Shadow AI (unregistered) e no painel para análise e registro.