📌 📄 内容摘要:
@jovin 在 大模型部署/微调求指导 中发帖
接了导师需求，大概是做一个多模态任务（原本是一个简单的回归任务，然后想利用大模型对回归结果做解释说明），调研了本领域几篇文献对大模型的利用方式包括：纯推理、做微调、利用大模型输出的 hidden states、logits做回归的。
实验室算力也就双卡4090，如果希望能覆盖上述利用方式，推荐使用什么模型，有什么什么好用的代码框架？
我此前没接触过大模型，不知有没有佬友曾经跟过大模型部署/微调教程值得推荐的？（站内搜了下，只有分享网盘资源的，不知道是不是好课程呢）
开贴前自己是试过gemma4了，4B的小模型效果不咋好，而部署26B的时候，不量化只能GPU+CPU,而量化又出现适配问题。（没学过只依赖AI还是干不好活~）
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2094617/1
─────────────────────────────
📢 来源：LINUX DO
