📌 📄 内容摘要:
xy3 在 大模型强化学习训练框架咨询 中发帖
目前了解到可以给llm做rl后训练的框架有
trl，unsloth，llama factory，openrlhf，verl
最后两个好像是可以多卡的，用了ray框架
不过本人是刚接触这方面的小白 可能后续读研会弄这个方向，目前没有足够资源去跑多卡的
但是好像听说trl写的特别死不方便二次开发？目前看unsloth是单卡性能显存占用最少的，不过他基于trl，要先调用patch函数修补才能用trl的库，是不是二次开发使用更复杂了
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/768014/1
─────────────────────────────
📢 来源：LINUX DO
