AI论坛 AI论坛 beta

Hackerxiao (@atopos31) 在 【开源】LLMIO|又一个LLM API 负载均衡网关 统一模型 日志记录 请求透传 熔断 完美支持cc...

📌 📄 内容摘要: Hackerxiao (@atopos31) 在 【开源】LLMIO|又一个LLM API 负载均衡网关 统一模型 日志记录 请求透传 熔断 完美支持cc/codex/gemini 中发帖 功能特性 统一 API:兼容 OpenAI Chat Completions、OpenAI Responses 、Gemini Native 与 Anthropic Messages 格式,支持透传流式与非流式响应。 权重调度:balancers/ 提供两种调度策略(根据权重大小随机/根据权重高低优先)与熔断机制,可按工具调用、结构化输出、多模态能力做智能分发。 可视化管理后台:Web UI(React + TypeScript + Tailwind + Vite)覆盖提供商、模型、关联、日志与指标。 速率与失败处理:内建速率限制兜底与提供商连通性检测,保证故障隔离。 本地持久化:通过纯 Go 实现的 SQLite (db/llmio.db) 保存配置和调用记录,开箱即用。 系统概览 [image] 渠道管理 [image] 模型管理 [image] 日志记录 [imag...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1341946/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888