Skip to content

希望在LLM配置中增加使用模型时的RPM和TPM设置 #1065

@kangetsu-12138

Description

@kangetsu-12138

💡 预期的功能 | Expected Feature

以我使用硅基流动siliconflow的deepseek-ai/DeepSeek-V3.2模型为例
使用本模型时 RPM 为 1,000;TPM 为 100,000;
软件设置中没有相关设置导致超限返回error

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions