📌 📄 内容摘要:
Rui-nnovation (@hengrrr) 在 大模型一直回答 GGGGGGGG 中发帖
尝试自己部署 deepseek-v2.5-1210-Q2_K_L
开发环境:Ubuntu 22.04.3 LTS, ollama version is 0.4.0
[image]
[image]
网上找到了类似的问题出现在 qwen 身上:
按照他们的方式, 设置环境变量 OLLAMA_FLASH_ATTENTION=True 并重启 Ollama,并没有什么用,有没有佬遇到过类似的问题,如何解决呢
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/333589/1
─────────────────────────────
📢 来源:LINUX DO