📌 📄 内容摘要:
看到这提肛20并点赞 (@remoteman) 在 Deepseek开源周 Day4:Optimized Parallelism Strategies 中发帖
[image]
优化并行策略
分别是:
DualPipe - 一种用于 V3/R1 训练中计算-通信重叠的双向管道并行算法。
仓库:GitHub - deepseek-ai/DualPipe
EPLB - 一个专家并行负载均衡器,用于 V3/R1。
仓库:GitHub - deepseek-ai/EPLB: Expert Parallelism Load Balancer
分析 V3/R1 中计算与通信的重叠。
仓库:GitHub - deepseek-ai/profile-data
(题主私货:ds真实把自己工程优化方法彻底开源了,真正的open AI)
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/459089/1
─────────────────────────────
📢 来源:LINUX DO