📌 📄 内容摘要:
搅拌机里的青蛙 (@Spades7) 在 求教Anything LLM如何用GPU加速? 中发帖
用Ollama+AnythingLLM用于本地知识库,发现回答问题速度极慢,很简单的检索回答要180s
看后台只有CPU在用,一下拉到100%,我的5070ti感觉没怎么用
[image]
大概上网查了一下说是可以GPU加速
本地模型下载的是gpt-oss:20b也下了qwen3-embedding
有没有佬指导一下?
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1130717/1
─────────────────────────────
📢 来源:LINUX DO