AI论坛 AI论坛 beta

ask (@zidglde) 在 用new api管理渠道后,明显感觉流式输出变慢了? 中发帖

📌 📄 内容摘要: ask (@zidglde) 在 用new api管理渠道后,明显感觉流式输出变慢了? 中发帖 在服务器上部署了new api,打开了请求透传。可再使用对话、流式输出时,明显感觉到流式输出的速度(不是响应速度,是N token/s的那种输出速度)变慢了很多。 这是为什么呢?该怎么解决?
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/641081/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888