📌 📄 内容摘要:
Zoro (@user1294) 在 请问有人部署过GLM5.1 OR Kimi2.6 这种模型 配置到opencode吗 如何解决上下文长度问题 中发帖
我在H200 8卡 sglang 部署了 GLM-5.1-fp8 我配置好api 为什么上下文总是会超出长度呢？ 如何解决这个问题？
命令如下
SGLANG_ENABLE_SPEC_V2=1 sglang serve \
--model-path zai-org/GLM-5.1-FP8 \
--tp 8 \
--dp 8 \
--enable-dp-attention \
--reasoning-parser glm45 \
--tool-call-parser glm47 \
--speculative-algorithm EAGLE \
--speculative-num-steps 3 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 4 \
--mem-frac...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2157551/1
─────────────────────────────
📢 来源：LINUX DO
