AI论坛 AI论坛 beta

alhz 在 关于GPT-Load功能的添加 中发帖

📌 📄 内容摘要: alhz 在 关于GPT-Load功能的添加 中发帖 GPT-Load 扩展功能说明 感谢 @tbphp 佬的 GPT-Load 项目提供的优秀基础架构! 本文档介绍基于原项目新增的功能特性。 模型自动聚合与智能路由 功能说明 创建聚合分组,包含多个子分组,系统根据请求的模型参数自动路由到对应的子分组,实现智能路由和负载均衡。 核心特性 [image] 模型自动聚合 - 自动汇总所有子分组的模型列表 智能路由 - 根据模型参数自动选择子分组 加权负载均衡 - 多个子分组间按权重分配请求 自动刷新 - 从上游 API 自动获取模型列表 使用场景 多厂商模型统一接入 将 OpenAI、Anthropic、Google 等不同厂商的模型整合到一个聚合分组 请求时自动路由到对应厂商的子分组 多实例负载均衡 创建多个相同模型的实例(如不同区域的 OpenAI 实例) 按权重自动分配请求,实现高可用 新增功能:分组导入导出 功...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1036876/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888