📌 📄 内容摘要:
变色龙 (@bianselong) 在 新研究揭示 DeepSeek / o3 弱点：频繁切换思路放弃正确方向，最短答案往往就是对的 中发帖
实验结果表明，所有测试的类 o1 模型都存在显著的思维不足问题。模型的准确率与思维不足之间的关系在不同数据集上表现各异。
在 MATH500-Hard 和 GPQA Diamond 数据集上，性能更优的 DeepSeek-R1-671B 模型在取得更高准确率的同时，其 UT 得分也更高，表明错误回答中存在更多思维不足。
这意味着，尽管模型整体能力更强，但在不确定时可能生成更长但效率较低的推理过程，可能是因为模型探索了多个错误的推理路径，却未能有效收敛到正确解答。
相反，在 AIME2024 测试集中，DeepSeek-R1-671B 模型不仅取得了更高的准确率，还表现出较低的 UT 得分，反映出较少的思维不足和更高的 token 效率。
这表明模型在该任务中，即使未得出正确答案，其推理过程依然保持专注和高效，团队表示这可能是因为模型与 AIME2024 所要求的问题类型和推理过程更...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/405619/1
─────────────────────────────
📢 来源：LINUX DO
