📌 📄 内容摘要:
XiaoGu (@Guzili) 在 昇腾NPU应用开发AI 中发帖
各位佬您们好!
现在企业都搞什么国产化算力嘛,有没有佬对昇腾NPU做动态显存调度的呀。官方文档什么的都是说静态显存配置,预占用,但是对于模型侧根本看不到也没什么办法监测到模型的波动、模型是否被用到和每张卡的情况。都说对静态显存配置适配好,根本原因是没做动态显存配置么??本人用的910B-B4,4台机器32卡。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1473627/1
─────────────────────────────
📢 来源:LINUX DO