📌 📄 内容摘要:
linchi 在 现在有什么本地部署模型的高性价比解决方案吗？ 中发帖
本来是有一块TeslaV100来跑模型的，最近想试着把显存加大到32G，搞两张16G的NVLink互联。
再上鱼一看，霍居然涨价了，我当年裸卡某宝375入手，现在居然又回到450+了，再搞个NVLink的互联底板加起来价格和32G的版本居然差不多了……
这种洋垃圾居然还能跟着内存一起涨价，有点神奇。
所以佬们有啥推荐的解决方案吗？针对稍微大一点的模型+长上下文。我目前测试下来还得是NV，我自己的MBP跑模型速度不到V100的1/4.
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1689064/1
─────────────────────────────
📢 来源：LINUX DO
