AI论坛 AI论坛 beta

变色龙 (@bianselong) 在 斯坦福揭秘 o1-preview 软肋:数学竞赛题稍作修改,准确率骤降 30% 中发帖

📌 📄 内容摘要: 变色龙 (@bianselong) 在 斯坦福揭秘 o1-preview 软肋:数学竞赛题稍作修改,准确率骤降 30% 中发帖 斯坦福大学最近的一项研究发现,尽管 o1-preview 在数学、代码等领域能力逆天,但只要对数学竞赛的题目稍修改,模型解答的准确率竟会立刻下降 30%。 在数学竞赛的领域里,普特南数学竞赛的威名可谓如雷贯耳。它由 William Lowell Putnam 家族发起,自 1938 年首届举办以来,历经 66 年的岁月沉淀,已然成为全球大学生数学精英们一较高下的顶级赛场。 美国数学会的精心主办,加上哈佛大学、多伦多大学等名校学子的踊跃参与,让这项赛事的桂冠成为无数学子梦寐以求的殊荣,其权威性和挑战性,那是得到了全球学界的公认。 而最近,来自斯坦福的一项研究,却让大家惊掉了下巴:仅仅对题目中的变量、常量等要素稍作修改,大模型「尖子生」o1-preview 模型的准确率就立刻大幅下降,降幅高达 30%! 斯坦福揭秘 o1-preview 软肋:数学竞赛题稍作修改,准确率骤降 30% - ...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/401482/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888