AI论坛 AI论坛 beta

white_little2237 (@xiaodi) 在 minicpm-V2.6使用cpu的推理一张图竟然要360秒,纯cpu的推理有没有缩短时间的方法...

📌 📄 内容摘要: white_little2237 (@xiaodi) 在 minicpm-V2.6使用cpu的推理一张图竟然要360秒,纯cpu的推理有没有缩短时间的方法。 中发帖 如标题,时间cpu的推理时间竟然占用那么多,模型再次加载不到5秒,推理却占了255秒。想知道有没有缩短时间的方法。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1243379/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888