📌 📄 内容摘要:
lyzyyy 在 大模型选择推荐 中发帖
大模型本地分布式集群部署，公司最近弄个两台4卡64g显存的机器，所以总的显存是64x8，想在本地部署一个常用的大模型，之前是在a800单卡部署过qwen2.5 32b，72b的量化版本，以及deepseek蒸馏版， 现在显存上来之后，考虑deepseek满血版资源肯定不够，所以是想着从日常实用性，以及大模型效果，function call支持，部署deepseekv3.1 量化版本怎么样，或者其他开源大模型榜单靠前的模型，Qwen3-235B-A22B-Thinking-2507，跪求大家有没有这方面经验的指教一二，方向选择上，感谢
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/996525/1
─────────────────────────────
📢 来源：LINUX DO
