📌 📄 内容摘要:
Annex 在 当 AI 陷入“自言自语”——深夜和GPT4o的对话 中发帖
[image]
刚刚，我闲来无事本想看看openai的爬虫有没有怕到我，互动时，遇到了一个非常有趣的现象：它开始疯狂地重复同样的内容，仿佛陷入了某种逻辑死循环。更有趣的是，它并没有意识到自己已经说过同样的话，而是一本正经地继续输出，甚至还能“自己解释自己”。这让我不禁好奇：为什么 AI 会这样“自言自语”？
我在想是不是因为self-attention机制 ，“附件 vs. 附录”这样常见的学术解释。如果在生成过程中， K 矩阵决定了模型如何把 Q 和 V 连接起来。如果某些词的 K 值过于相似，它们可能会在 Attention 计算中得到相似的权重分配，于是模型会不断倾向于选它们，导致“循环复读”现象。
但AI 生成文本时，会使用 温度（temperature） 和 Top-k / Top-p 采样 机制来决定输出的多样性。是不是因为temperature太低，或者 Top-k ...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/442991/1
─────────────────────────────
📢 来源：LINUX DO
