📌 📄 内容摘要:
害你的猪 (@zhousp666) 在 对量化模型Qwen3-14B-AWQ进行微调后无法合并导出 中发帖
用ms-swift对Qwen3-14B-AWQ进行了微调，但是合并导出失败，错误是
File "/root/anaconda3/envs/ms-swift/lib/python3.11/site-packages/peft/tuners/tuners_utils.py", line 937, in merge
raise NotImplementedError
NotImplementedError
询问了AI的解释是：
AWQ 量化模型的 LoRA 权重合并 默认不支持直接 merge_and_unload()。
原因：AWQ 权重量化后（int4/int8）会破坏部分线性层结构，PEFT 无法直接在量化权重上进行 merge。
交互式推理是可以正常问答的
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 swift infer --ckpt_...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1062467/1
─────────────────────────────
📢 来源：LINUX DO
