📌 📄 内容摘要:
SAY 在 大模型微调or训练教程(LLaMA-Factory) 中发帖
先说一下什么是大模型 微调 or 训练(ps: 本人浅显理解)
训练: 过去一般指的是从0倒1的制作训练一个模型, 这里面包含: 初始化模型参数, 大量的数据迭代, 训练
微调: 指的是在已有的模型上, 继续训练, 继续优化, 喂自己特定场景的语料
但是在大模型大热的环境下, 大多数张嘴就是大模型训练啊, 训练大模型啊~巴拉巴拉, 但实际上指的都是微调(我所在的公司反正是这样)
本文目的, 让你迅速尝试自己微调一个大模型, 因此概念性的东西, 下文就不多解释了
本文选用的是LLaMA-Factory进行大模型微调https://github.com/hiyouga/LLaMA-Factory
下文正式开始微调
安装依赖
python中某些包的版本是和系统GPU CUDA版本挂钩的, 因此本文默认你的CUDA版本和我完全一致, 即为: Driver Version: 535...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/361316/1
─────────────────────────────
📢 来源：LINUX DO
