AI论坛 AI论坛 beta

fu (@viron) 在 GPU 动态频率设置方法(解决非周期性运行模型推理速度不稳定的问题) 中发帖

📌 📄 内容摘要: fu (@viron) 在 GPU 动态频率设置方法(解决非周期性运行模型推理速度不稳定的问题) 中发帖 现象:当有其他模型在训练时,GPU推理会很快、很稳定;当没有训练的时候,推理就会变慢,而且时间抖动很大。 原因:单独跑GPU推理时,GPU在频繁降频、睡眠、抖动,而当额外有训练任务时,就把 GPU“预热并锁在高性能态”。 解决方案: 1.查看GPU核心可用频率 执行命令:nvidia-smi -q -d SUPPORTED_CLOCKS [image] 2.锁定GPU核心频率 执行命令:nvidia-smi -lgc 3105,11501 (后面两个数值为你在第一步可用频率中选择,我选的最大值) [image] 3.重置GPU核心频率 (不需要运行时可执行) 执行命令:nvidia-smi -rgc [image] 以下命令效果一致: nvidia-smi --lock-gpu-clocks=3105,11501 nvidia-smi --reset-gpu-...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1713537/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888