AI论坛 AI论坛 beta

Luo Xia 在 4-6w 预算 求一个可以部署 106B/12B 的 GLM4.5 Air 的配置! 中发帖

📌 📄 内容摘要: Luo Xia 在 4-6w 预算 求一个可以部署 106B/12B 的 GLM4.5 Air 的配置! 中发帖 希望单流输出 60t/s+ 8 并发输出 300t/s+ 最好可以集成 vllm 和 lmcache 留一些显存/内存用来做上下文缓存
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/966805/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888