📌 📄 内容摘要:
@flip 在 为什么同一模型q4量化比q8量化输出的要多 中发帖
[image]
分别用qwq 32b q4版本和q8版本测试 问题以及上下文长度，温度采样全部一致
q4输出
[image]
q8输出
[image]
难道不是模型越大输出越详细嘛哈哈
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/498428/1
─────────────────────────────
📢 来源：LINUX DO
