📌 📄 内容摘要:
闫家硕 (@empire) 在 我们距离AGI还有多远？ 中发帖
自2022年ChatGPT发布以来，有无数的学者和兴趣爱好者都认为通用人工智能的时代已经降临了。不过是继续目前的强化学习不断迭代模型的能力，使其工作质量和效率不断提高就可以了。本人研究AI多年，从CNN到目前主流的Transformer，细化到COT(思维链）和MOE（混合架构）都有些许了解，所以想要引出这个话题表达一下目前反对派（例如杨立堒，李飞飞教授）的观念，和一些我对于AGI的浅薄思考。
1.模型的记忆能力。目前主流的机构（Openai，anthropic和deepseek）等公司都在力图强化大模型的上下文能力，能够扩展到1M范围。但是这个1M上下文不过是大模型的注意力范围。类似于人类的短期记忆，你一次性能够关注到多少东西。这并不属于真实的记忆，只是强行在一定的注意力下塞下更多的东西，就像是给人类一张图片，问你图片的左上角是什么，但是对话的所有内容，都是仅限于这一张图中的token...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1646070/1
─────────────────────────────
📢 来源：LINUX DO
