Model Inventory 参考

Model Inventory 参考

Model Inventory 的筛选、状态、协议、韧性、压缩、高级参数、分组和路由规则。

Model Inventory 是集中管理模型的位置。

列表和筛选

表格显示 registered、disabled 和 discovered 模型。服务器端可按模型 ID、提供方、backend URL 搜索并按状态筛选,支持分页。

模型操作

  • Enable / Disable:切换 registered/disabled;禁用模型请求返回 400 model_disabled。
  • Add custom model:添加模型 ID、提供方、backend URL、可选 API key 和协议。
  • Edit:更新提供方、URL、key、协议和模型设置。
  • Register:将 shadow 模型加入注册表。
  • Delete:删除自定义模型。

模型设置

设置控制内容
Protocolopenai 或 anthropic,facade 可互相转换。
Key mode覆盖 upstream key 行为。
Streaming mode覆盖 buffered/live。
Resilience重试限制/状态、off/failover/distribute、PrimaryShare 和 AlternateEndpoints。
Compression模型级覆盖 inherit / on / off。
Advanced parameters缺失时注入或强制请求参数。

模型组和路由规则

Model Groups 管理组和成员;Routing Rules 是有序列表,可启用、禁用、重排和编辑。参阅模型路由指南。

Shadow AI#

流量中的未知模型显示在 Shadow AI (unregistered) 和 Dashboard,供审查和登记。

后续阅读

后续阅读