📌 📄 内容摘要:
0726 在 公司AI服务器马上开始部署,彦祖们帮忙参谋参谋. 中发帖
ps:(本来被告知是8块H20 ,结果昨天发现是A10. emmmm… 其实最早看合同是4090的,暂且略过.)
基于8块A10 192G的显存.目前暂定 Ubuntu 22.04 + Docker + vLLM + Qwen3.5-122B (MoE) INT4 .
1、请问vLLM 是否有必要替换成 SGLang.
2、有没有需要注意的事项,雷点. :tieba_114:
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1725245/1
─────────────────────────────
📢 来源：LINUX DO
