📌 📄 内容摘要:
埃里克 (@tim9527) 在 关于私有模型的一些问题 中发帖
场景：私有大模型服务器，公司买的K100AI的卡8*64的显存 内存900g 硬盘11T 海光DCU
现在安装模型，只能安装海光的提供的模型，且只能定制对方提供的docker镜像和vllm指定的版本 以及模型。
想用来做claude code的调用安装模型。目前按照了千问的122b激活a8b的模型 但是claude code调用有问题，串行的命令无法执行。
比如：帮我优化某某方法。
私有模型：说一句话就停住了，根本走不下去，没有edit，只有单独的add内容
购买的coding plan 同样的场景 是正常没问题的
有没有佬遇到这种情况，是咋处理的。。。
厂商那边沟通费劲。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1996846/1
─────────────────────────────
📢 来源：LINUX DO
