AI论坛 AI论坛 beta

搅拌机里的青蛙 (@Spades7) 在 求教Anything LLM如何用GPU加速? 中发帖

📌 📄 内容摘要: 搅拌机里的青蛙 (@Spades7) 在 求教Anything LLM如何用GPU加速? 中发帖 用Ollama+AnythingLLM用于本地知识库,发现回答问题速度极慢,很简单的检索回答要180s 看后台只有CPU在用,一下拉到100%,我的5070ti感觉没怎么用 [image] 大概上网查了一下说是可以GPU加速 本地模型下载的是gpt-oss:20b也下了qwen3-embedding 有没有佬指导一下?
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1130717/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888