Skip to content

支持基于请求内容(如多模态、Tools)的自动模型重定向 #4066

@WUDDC

Description

@WUDDC

提交前必读(请勿删除本节)

您当前的 newapi 版本

v0.12.1

提交确认

  • 我已确认目前没有类似 issue
  • 我已完整查看过文档 https://docs.newapi.ai/ 和项目 README,已确定现有版本无法满足需求
  • 我未删除此模板中的任何引导内容或小节标题,并会按要求完整填写
  • 我理解项目维护者精力有限,不遵循模板要求的 issue 可能会被无视或直接关闭

功能描述
希望网关能根据 请求体 的特征,自动路由到不同的模型
应用场景
部分项目,只能配置一个统一的模型 ID,需要根据用户输入动态切换模型ID降低成本
对成本进行优化,如果全部用参数覆盖重定向到一个多模态模型,成本会很高。
我希望实现的是:

  • 识别到 image_url 走渠道 A (多模态模型,例如阿里百炼coding plan)

  • 没识别到图片 走渠道 B (纯文本模型,例如minimax的coding plan)

这种‘基于内容特征的渠道切换’,目前的参数覆盖功能似乎无法在‘路由选择’阶段完成?
当前解决方法

  1. 添加多个渠道,添加每个渠道时添加 模型重定向 auto:模型,同时添加自定义模型auto
  • 文字渠道: auto:模型id
  • 图片渠道: auto:模型id
  • 全模态渠道: auto:模型id
  1. 设置自动重试状态码添加400,重试次数设置为 3
  2. 渠道权重和优先级
  • 文字渠道: 100 100
  • 图片渠道: 50 50
  • 全模态渠道: 10 10
  1. 使用时调用new api url,模型id用auto,可在操练场测试。

解释
利用渠道重试流程来进行跨模型调用

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions