📌 📄 内容摘要:
xwy-python 在 诸位佬友 求一个CPU跑大语言模型最优解 中发帖
诸位佬友 求一个CPU跑大语言模型最优解
我这边是跑AI的业务 目前的算力来自和各方的合作 但是我们想要有自主的算力 在资金不太充裕的情况下 我们买不起多少显卡
但是我们手里有很多空闲的6138机器(80核 CPU)性能应该不错
有什么办法可以榨干CPU性能(最高利用率)去跑大语言模型?
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/778146/1
─────────────────────────────
📢 来源：LINUX DO
