📌 📄 内容摘要:
Chase (@abc5z7) 在 目前是否有本地部署的实时流式返回音频的语音大模型 中发帖
想要在本地部署一个能语音对话的服务，需要一个能流式返回音频的语音大模型。
我目前试了qwen2.5-omni，使用官方代码transformers部署，无法实现流式返回音频，且官方文档也说明了如果使用vllm部署只能返回文字流。（如果有佬友知道怎么流式返回音频，请给个网址或仓库学习学习）
百炼平台目前api的形式是支持流式返回音频，但我的需求是本地部署。
或者有没有其他语音大模型，支持流式返回音频的。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1282204/1
─────────────────────────────
📢 来源：LINUX DO
