📌 📄 内容摘要:
佛克斯 (@I-was-here) 在 提问一些LLM相关的问题 中发帖
这只是一位表达混乱的初学者的提问
如各位所知的,LLM在微调之前会进行大规模无监督训练,那么在这个过程中各个注意力头应该会被分配到不同的隐藏关系,那么在后续的微调中,会不会出现部分注意力头的“关注点”不在我们希望的地方.
MCP这玩意应该是正则加要求模型指定格式进行输出,这不应该早就被推广吗?据我所知在GPt3.5还是Claude2的时候,就有很多的QQ Bot以要求模型以特定格式输出内容的来实现某些功能(禁言等)
为什么每次的MCP执行结果结束后,都必须得重新让模型推理一次?
能不能通过训练使得模型做到以下效果
Assistant: 1+1的答案是{{算式:1+1}},而两个1+1的答案为{{ {{算式:1+1}}+ {{算式:1+1}} }})
(抱歉表述不清楚)
模型是否存在先射箭画靶的行为,即已经预设了答案(从第一个Token的输出开始),再依据答案作答
当下都是模型输出完毕...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/839473/1
─────────────────────────────
📢 来源：LINUX DO
