提交前必读(请勿删除本节)
您当前的 newapi 版本
v0.12.1
提交确认
功能描述
希望网关能根据 请求体 的特征,自动路由到不同的模型
应用场景
部分项目,只能配置一个统一的模型 ID,需要根据用户输入动态切换模型ID降低成本
对成本进行优化,如果全部用参数覆盖重定向到一个多模态模型,成本会很高。
我希望实现的是:
这种‘基于内容特征的渠道切换’,目前的参数覆盖功能似乎无法在‘路由选择’阶段完成?
当前解决方法
- 添加多个渠道,添加每个渠道时添加 模型重定向 auto:模型,同时添加自定义模型auto
- 文字渠道: auto:模型id
- 图片渠道: auto:模型id
- 全模态渠道: auto:模型id
- 设置自动重试状态码添加400,重试次数设置为 3
- 渠道权重和优先级
- 文字渠道: 100 100
- 图片渠道: 50 50
- 全模态渠道: 10 10
- 使用时调用new api url,模型id用auto,可在操练场测试。
解释
利用渠道重试流程来进行跨模型调用
提交前必读(请勿删除本节)
您当前的 newapi 版本
v0.12.1
提交确认
功能描述
希望网关能根据 请求体 的特征,自动路由到不同的模型
应用场景
部分项目,只能配置一个统一的模型 ID,需要根据用户输入动态切换模型ID降低成本
对成本进行优化,如果全部用参数覆盖重定向到一个多模态模型,成本会很高。
我希望实现的是:
识别到 image_url 走渠道 A (多模态模型,例如阿里百炼coding plan)
没识别到图片 走渠道 B (纯文本模型,例如minimax的coding plan)
这种‘基于内容特征的渠道切换’,目前的参数覆盖功能似乎无法在‘路由选择’阶段完成?
当前解决方法
解释
利用渠道重试流程来进行跨模型调用