📌 📄 内容摘要:
@sonvs 在 一个ai小白想请教8b模型的训练问题 中发帖
我租了一个8卡的服务器，我以为微调8b模型应该很快的，t4性能也不算差吧，为什么感觉训练过程很慢，比如sft要两三天才能完成，这个正常吗？
当前流程：
底座模型：Qwen3-8B
第一阶段：SFT 已完成
当前阶段：在合并后的 SFT 模型上继续做 ORPO 偏好训练
硬件：
8 x Tesla T4
每张 16GB 显存
总显存约 120GB+
训练设置：
4bit + LoRA
per_device_train_batch_size=1
gradient_accumulation_steps=4
optimizer=paged_adamw_8bit
device_map=auto
多卡训练，但还没上 FSDP / ZeRO
偏好数据规模：
train: 6497
val: 797
总 preference pairs: 7294
序列长度分布（截断前）：
p...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1944594/1
─────────────────────────────
📢 来源：LINUX DO
