Model Inventory 参考
Model Inventory 的筛选、状态、协议、韧性、压缩、高级参数、分组和路由规则。
Model Inventory 是集中管理模型的位置。
列表和筛选
表格显示 registered、disabled 和 discovered 模型。服务器端可按模型 ID、提供方、backend URL 搜索并按状态筛选,支持分页。
模型操作
- Enable / Disable:切换 registered/disabled;禁用模型请求返回 400 model_disabled。
- Add custom model:添加模型 ID、提供方、backend URL、可选 API key 和协议。
- Edit:更新提供方、URL、key、协议和模型设置。
- Register:将 shadow 模型加入注册表。
- Delete:删除自定义模型。
模型设置
| 设置 | 控制内容 |
|---|---|
| Protocol | openai 或 anthropic,facade 可互相转换。 |
| Key mode | 覆盖 upstream key 行为。 |
| Streaming mode | 覆盖 buffered/live。 |
| Resilience | 重试限制/状态、off/failover/distribute、PrimaryShare 和 AlternateEndpoints。 |
| Compression | 模型级覆盖 inherit / on / off。 |
| Advanced parameters | 缺失时注入或强制请求参数。 |
模型组和路由规则
Model Groups 管理组和成员;Routing Rules 是有序列表,可启用、禁用、重排和编辑。参阅模型路由指南。
Shadow AI#
流量中的未知模型显示在 Shadow AI (unregistered) 和 Dashboard,供审查和登记。