📌 📄 内容摘要:
gaojh (@rTomcat) 在 qwen-vl 怎么用vllm部署啊，多模态好像不管用一样！！！ 中发帖
佬友们
现在有一个微调后的qwen-vl-7b
我现在现在用 Transformers 加载起来 并发下我看Transformers 默认是队列跑的
现在想支持多线程 打算用llm 但现在用llm起来 多模态就像是失效了一样，指令和回答完全是乱掉的
网上都说不支持啥的 有没有佬友有经验,或者其他方案能线程
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/777950/1
─────────────────────────────
📢 来源：LINUX DO
