AI论坛 AI论坛 beta

@11111111111ge1 在 九坤投资的IQuest跑分有作弊嫌疑?第三方实测40B模型跑不过14B qwen模型 中发帖

📌 📄 内容摘要: @11111111111ge1 在 九坤投资的IQuest跑分有作弊嫌疑?第三方实测40B模型跑不过14B qwen模型 中发帖 1月1日 至知创新研究院(IQuest Research)发布全新一代开源代码大模型IQuest-Coder-V1系列 。当时宣传性能强劲,在自主性软件工程、竞赛编程等关键维度上,成为了当下开源模型SOTA。当时的介绍在这里: 九坤投资创始团队成立至知创新研究院,发布开源国产代码大模型IQuest-Coder-V1,声称开源模型SOTA,只需40B就能秒杀部份闭源模型 - 前沿快讯 - LINUX DO 很快有社区用户(@xeophon)发现在 SWE-bench 测试中,官方配置有无,模型输出中错误引用了 未来日期的 Git commit,相当于考试直接看到答案,大概 24% 的内容都受到了影响,此次测试无效。 好在官方态度比较积极,修复问题后进行了重新评估: [image] 这就是原帖楼下那位发现官方修改评分表现的原因。 [image] 之后 @HaohaoHenr5...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1399683/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888