📌 📄 内容摘要:
你这是违法行为 (@Anano) 在 寒武纪完成DeepSeek-V4适配，代码已开源，带动国产芯片股走强！ 中发帖
寒武纪宣布已在 V4 发布当天完成 285B DeepSeek-V4-Flash 和 1.6T DeepSeek-V4-Pro 两款模型的适配，基于 vLLM 推理框架，适配代码已开源至 GitHub。
适配速度依赖两个前提：一是寒武纪自研 NeuWare 软件栈原生支持 PyTorch、vLLM 等主流框架，模型可快速迁移；二是寒武纪芯片原生支持主流低精度数据格式，无需额外格式转换即可完成精度验证。针对 V4 的新结构，寒武纪通过自研融合算子库 Torch-MLU-Ops，对 Compressor、mHC 等模块做了专项加速，并用 BangC 编写了稀疏/压缩 Attention、GroupGemm 等热点算子内核。
在推理框架层面，寒武纪在 vLLM 中支持 TP/PP/SP/DP/EP 五维混合并行、通信计算并行、低精度量化和 PD 分离部署。V4 技术报告仅提及了在 NVIDI...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2045295/1
─────────────────────────────
📢 来源：LINUX DO
