Roteamento e registro de modelos

Roteamento e registro de modelos

Configure modelo padrão, registro estrito, regras condicionais e destinos de provedores.

O gateway decide qual modelo usar e para onde encaminhar cada solicitação. Model Inventory centraliza os modelos permitidos. Modelos iniciais vêm desabilitados; Add custom model adiciona ID, provedor, URL backend e API key opcional. Edit atualiza, Register registra modelo shadow e Delete remove modelo personalizado.

Protocolos: openai ou anthropic. IDs claude-* usam anthropic por padrão, alterável por modelo.

ConfiguraçãoFunçãoLocal
Default modelUsado se model for omitido.Settings -> Default Model
Default backendDestino se modelo não tiver URL própria.Settings -> Default Backend

Reject Unregistered Models: OFF encaminha modelos desconhecidos ao backend padrão; ON retorna 400 model_not_registered. Modelo desabilitado retorna 400 model_disabled nos dois modos.

Regras aceitam agent, agentgroup, agenttag, ip, model, group, risk, flag e header name, com operadores Equals, NotEquals, GreaterThan, GreaterOrEqual, LessThan, LessOrEqual, In, NotIn e Matches. Condições usam AND; primeira regra correspondente vence. Destino pode ser modelo registrado ou URL direta; grupos servem como critérios. IDs desconhecidos falham com segurança.

Próximas leituras#

Próximas leituras