AI论坛 AI论坛 beta

风雨未有归期 (@ITQianChen) 在 AMD电脑使用NPU本地运行大模型 中发帖

📌 📄 内容摘要: 风雨未有归期 (@ITQianChen) 在 AMD电脑使用NPU本地运行大模型 中发帖 换了个新电脑,发现nup占了31个g,然后丝毫没运行情况。 [image] 然后网上找了一下nup是什么,发现是跑模型的。于是又搜了怎么跑。 发现了 Overview · FastFlowLM 这个文章,可以跑小模型,都是适配了NPU的。 [image] [image] 可以先跑1b的试试。最高有8b的。 为AMD的NPU开启性能模式: cd C:\Windows\System32\AMD\ .\xrt-smi configure --pmode turbo 其他模型说明 NPU Management Interface — Ryzen AI Software 1.6.1 documentation
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1407248/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888