AI论坛 AI论坛 beta

@XnneHang 在 对合理应用系统提示词和用户提示词的一点思考: Attention is Limited - Lost in the Middle 中发帖

📌 📄 内容摘要: @XnneHang 在 对合理应用系统提示词和用户提示词的一点思考: Attention is Limited - Lost in the Middle 中发帖 我在昨天建议一个人把反复插入的知识库和记忆放入 user prompt 里而非 system prompt 中。 ❇ 一点小建议: 以用户提示词取代系统提示词来插入世界书与日记。 #4 我提出了 system prompt 全局可见和高权重两点,如果冲突的话模型会出幻觉。 而 user prompt 则是局部的和越近的注意力权重越高。 当时提到这两点的时候,我是纯粹出于经验以及对 gemini 2.5 pro 的信任。 但是 issue 提出后我就忍不住对自己产生更多怀疑(这经验怎么来的?),然后也有必要再有依据地分析一下。 经过一番查阅,局部的和越近的注意力权重越高,这点其实 system prompt 和 user prompt 都有。 而有一点偏颇我认为后续 system prompt 的插入注意力权重均不如 primary prompt。(实际上它并不是这么回事,开...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/810800/1
─────────────────────────────
📢 来源:LINUX DO | 标签:#4

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888