模型组:多模型路由
什么时候用
当你需要实现多模型路由时使用。模型组允许你将多个模型组合并按照策略选择,典型场景包括:
- 故障转移(高优先级模型失败时自动切换到下一个)
- 负载均衡(轮询或按权重分配流量)
- 成本控制(优先使用低成本模型,失败时切换到贵的)
你需要准备
- 已配置好至少两个可用模型(参见「添加与配置模型」)
操作步骤
第 1 步:进入模型组页面
左侧菜单 -> 模型管理 -> 模型组。
页面以列表形式展示你已创建的模型组。点击右上角「新建模型组」按钮,进入创建表单。
第 2 步:创建模型组
表单包含以下字段:
| 字段 | 怎么填 | 说明 |
|---|---|---|
| 名称 | 必填,如「高优先级组」、「负载均衡组」 | 同唯一,不能以 group- 开头 |
| 策略 | 必选,优先级 / 轮询 / 加权 | 见下方策略说明 |
| 状态 | 开关,默认启用 | 禁用后该模型组不可被调用 |
路由策略说明:
| 策略 | 行为 |
|---|---|
| 优先级 | 按优先级顺序依次尝试,失败后自动切换下一个(最多 3 个候选) |
| 轮询 | 依次选择可用模型,均衡分配负载 |
| 加权 | 按权重比例随机选择,权重越高被选中概率越大 |
重要提醒: 模型组的实际调用名称是 group-{组名}(如 group-高优先级组),但你在创建时只需填写「高优先级组」。
填完点击「确认」保存。
第 3 步:添加组内模型
在模型组列表中,点击「模型管理」展开该模型组:
- 点击「添加模型」按钮
- 从下拉列表中选择要加入的模型
- 根据策略设置相应参数:
- 优先级策略:设置优先级(数值越小越优先)
- 轮询策略:设置轮询顺序
- 加权策略:设置权重 + 优先级(同权重时按优先级)
- 点击「确认」
你可以重复此步骤添加多个模型到组中。
第 4 步:编辑或移除
- 点击模型组的「编辑」修改名称、策略或状态
- 点击组内模型的「编辑」修改其优先级/权重
- 点击「删除」移除模型组或组内单个模型
怎么验证成功了
- 在模型组列表能看到刚创建的组
- 展开后能看到已添加的组内模型
- 可以在智能体创建或设置中选择该模型组
- 通过 API 调用时使用
group-{组名}能正常按策略路由
常见问题
创建模型组返回 422
可能是以下原因:
- 名称与同下已有模型或模型组冲突
- 名称以
group-开头 - 必填字段未填写
如何在 API 中调用模型组
使用 group-{组名} 作为 model 参数,例如:
- 模型组名称是「高优先级组」
- 调用时使用
model: "group-高优先级组"
模型组的模型失败回退
最多尝试 3 个候选模型,当前模型失败后自动尝试下一个,直到成功或尝试完 3 个。
策略可以随时切换吗
可以。编辑模型组修改策略后立即生效,组内模型的参数会根据新策略展示(优先级、权重等)。
深入
核心概念
模型组
模型组是一个高级功能,允许你将多个模型组合并按照策略路由。控制台/数据库中的模型组名称不含 group- 前缀;调用 OpenAI API 时才使用 group-{组名} 作为模型参数。
路由策略:
| 策略 | 行为 |
|---|---|
| 优先级 | 按优先级顺序依次尝试,命中使用 |
| 轮询 | 轮询依次选择 |
| 加权 | 按权重随机选择 |
失败回退(failover): 最大 3 个候选模型,当前模型失败后自动尝试下一个。
字段含义速查表
| 概念 | 说明 |
|---|---|
| 名称规则 | 控制台/数据库中的名称禁止以 group- 开头;OpenAI API 调用时使用 group-{组名} |
| 路由策略 | 优先级 / 轮询 / 加权 |
| 失败回退 | 最大 3 个候选 |
| 显示名称互斥 | 不能与单个 ModelItem 的显示名称重名 |
权限边界
| 操作 | 谁可以 |
|---|---|
| 创建/修改/删除模型组 | 租户管理员 |