📌 📄 内容摘要:
yhp666 在 做个纯CPU推理的实验 中发帖
今天看到各种几万块钱搞定满血Deepseek-R1的方案，到底这种纯cpu的方案是否可行呢？实践出真知，给各位佬省省宝贵时间。
这是ollama上下载的4bit量化版Deepseek-R1:671b 讲真这还是打折的满血r1因为我实在找不到1.4TB内存的服务器了 😂
[image]
1分22秒啊，就问了个好…大概感觉平均1秒都吐不出1个字来
再上机器配置，这机器现在2手看成色大概不到10万
Server : Dell PowerEdge R830
CPU : Intel(R) Xeon(R) CPU E5-4660 v4 @ 2.20GHz *4 （128 core）
Memory : 16GB 2400MHz DDR4 *32
所以各位佬想想那些能免费提供满血Deepseek-R1:671b的公司都得多豪横？图什么呢？
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/414286/1
─────────────────────────────
📢 来源：LINUX DO
