模型路由与注册中心

模型路由与注册中心

配置默认模型、严格注册、条件规则和提供方目标。

每个请求 gateway 都要决定模型和目标。Model Inventory 集中管理允许的模型。初始模型默认禁用;Add custom model 添加 ID、提供方、backend URL 和可选 API key;Edit 更新;Register 登记 shadow 模型;Delete 移除自定义模型。

模型协议为 openai 或 anthropic。claude-* ID 默认使用 anthropic,可按模型更改。

设置用途位置
Default model客户端省略 model 时使用。Settings -> Default Model
Default backend模型没有专属 URL 时的目标。Settings -> Default Backend

Reject Unregistered Models:OFF 将未知模型路由到默认 backend;ON 返回 400 model_not_registered。禁用模型在两种模式下均返回 400 model_disabled。

路由规则支持 agent、agentgroup、agenttag、ip、model、group、risk、flag 和 header name,运算符 Equals、NotEquals、GreaterThan、GreaterOrEqual、LessThan、LessOrEqual、In、NotIn 和 Matches。条件以 AND 组合,首个匹配规则生效。目标是注册模型或直接 URL;group 仅用于条件。未知 ID 按安全方式失败。

后续阅读

后续阅读