AI论坛 AI论坛 beta

quaful 在 Yifan Zhang 透露了DeepSeek V4参数 中发帖

📌 📄 内容摘要: quaful 在 Yifan Zhang 透露了DeepSeek V4参数 中发帖 Yifan Zhang:本科北大元培、硕士清华姚班,现为普林斯顿大学 AI Lab Fellow,研究方向是大语言模型推理与强化学习 这哥们儿不是DeepSeek的员工,但估计和DeepSeek关系挺密切的,之前几次预测都说对了。 这次他披露的: V4 1.6T, V4-Lite 285B Attention: DSA2 (NSA + DSA), head-dim 512 Sparse MQA + SWA MoE: Fused MoE Mega-Kernel with 6 active in 384 experts Residual: Hyper-Connections Optimizer: Muon Pretrain context length: 32K RL: GRPO with corrected KL Final Context Length: 1M Mo...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2032240/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888