📌 📄 内容摘要:
共产主义接班人 (@wszgrcy) 在 如何以最低成本跑deepseek 3? 中发帖
突然发现moe这种高参数但是低激活的方法能保证速度,又能保证一定的质量,但是最大问题就是太大了…8卡4090估计都跑不起来(4bit勉强,并且还不算上下文占用),那么现在个人如果想跑(不要说充值直接使用…因为就想本地部署),大概什么设备够用?
mac? 192g都会爆掉把?(2bit?)
epyc 12通道?
但是如果用不满通道,速度也上不去,用满了的话估计也解决爆内存…
h800?(告辞…)
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/315887/1
─────────────────────────────
📢 来源：LINUX DO
