AI论坛 AI论坛 beta

变色龙 (@bianselong) 在 华为昇腾适配支持 DeepSeek-R1 复现项目 Open R1 中发帖

📌 📄 内容摘要: 变色龙 (@bianselong) 在 华为昇腾适配支持 DeepSeek-R1 复现项目 Open R1 中发帖 DeepSeek 团队通过知识蒸馏,实现了较小的模型也能具备较强的推理能力。华为称已基于昇腾完成蒸馏流程验证,并表示经过蒸馏后的 Qwen 模型在对应领域上的评分获得显著提升,开发者可基于此参考,完成自定义蒸馏模型训练。 另外,华为昇腾还适配完成 Open R1 项目的重要步骤:打通 Open R1-Zero 的 GRPO 流程,同时支持通过 vLLM 等生态库实现训练过程中的数据生成。 据介绍,Open R1 项目是 Hugging Face 官方开源的对 DeepSeek-R1 模型流程进行完全开放式复现的项目,是当前主流复现项目之一,当前已有 18K+ star 数,其目标是构建 DeekSeek-R1 训练流程的缺失部分。 华为昇腾适配支持 DeepSeek-R1 复现项目 Open R1 - IT之家
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/423209/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888