📌 📄 内容摘要:
vfx (@freebsdfx) 在 我发现不同的AI模型，量化后结果完全不同。 中发帖
一些模型对量化容忍度比较高，另一些模型又不是。就好比给人类大脑开刀，目的是为了切除肿瘤，问题是这一刀下去，完全是黑盒状态，运气好就丧失一些记忆，语言逻辑是没问题的。运气不好，那直接变智障了。
最近AI消费级的新模型很多，但不量化，无法在普通显卡上运行。只能挨个尝试，心累。
本来对GEMMA3期望很高，无奈对比别的同参数模型，推理速度也太慢了，几乎放弃了。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/503308/1
─────────────────────────────
📢 来源：LINUX DO
