📌 📄 内容摘要:
cat3399 在 我想给自己学校,微调一个大模型,专门回答学校相关的问题 中发帖
我现在是爬了校园集市和贴吧的一些帖子和评论,把校园集市的求助贴筛选出来,然后提供标题+内容+回复 让大模型进行处理,总结问题和回答,再把结果放进qwen2.5 7b模型上面微调 总共300条问答数据
[image]
实际效果不太行,许多训练集里面的问题回答的都不好,是参数没调好吗,我在想,如果让结果过拟合,是不是更好一些,反正一个学校的数据就那些,我收集的数据基本上全覆盖了,模型的泛化能力不是很重要,而且这种特定领域的问题,感觉也泛化不了
有没有大佬推荐一下思路
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/436303/1
─────────────────────────────
📢 来源:LINUX DO