📌 📄 内容摘要:
2er Two6 在 Smooth Gateway - 流式优化网关 中发帖
项目背景与痛点
上游API提供商提供的流式传输可能是粗糙的、一大块一大块出现的，体感上不“丝滑”。
灵感来源
Gemini Balance的流式传输优化功能就解决了这个痛点，在玩酒馆等需要流式传输的场景下，能够极大的提高体验，但是就如项目名那样，只能给Gemini用。
项目介绍
于是就有了这个项目，参考了Gemini Balance的思路，可以插入到任何一个OpenAI格式的API服务中间，对流式传输进行后处理，把粗糙的流切成细腻的流，再推送给最终的AI应用。
当前状态与使用建议
目前不知道会不会影响工具调用啥的（）
目前仅支持接入OpenAI格式的API，推荐的使用方法是先接入New API，再套一层这个网关使用。
效果对比
套网关前的效果
[涩涩的]
套了网关后的效果
[滑滑的]
部署教程详见仓库README.md 求Star~
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1220140/1
─────────────────────────────
📢 来源：LINUX DO
