📌 📄 内容摘要:
@sdllzy 在 求助本地部署大模型选择 中发帖
公司运维今天问我，公司本地部署大模型的选择（单机非集群），希望大家能给点意见：
硬件：内存4T，显存8*141，不能连外网（模型自身能力要强一些？）
需求：
主要是代码能力，研究环境下用的多的应该也就是python（包括一些包比如numpy, pandas, polars这类的）。
6，70号人，应该也会需要高并发？
可能需要考虑上下文长度
本来机器买来是为了部署满血deepseek-r1的，然后说看看有没有什么更好的模型。目前的话除了deepseek还考虑kimi k2.5, GLM 4.7, minmax 2.1这些。（另外因为是量化行业，不知道deepseek在语料上会不会有天然的加成hh）
想请教大家一下在coding场景下，你们实际用下来觉得哪一类模型综合最强、最稳？ 量化（INT8 / INT4）对代码质量影响大不大？是否值得为了并发和吞吐牺牲一点精度？有没有踩过坑...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1535717/1
─────────────────────────────
📢 来源：LINUX DO
