AI论坛 AI论坛 beta

@xlcheer 在 两张 Tesla A100 共 80G 显存,300G+ 内存,使用 ollama 本地部署 DeepSeek R1 32B 非量化...

📌 📄 内容摘要: @xlcheer 在 两张 Tesla A100 共 80G 显存,300G+ 内存,使用 ollama 本地部署 DeepSeek R1 32B 非量化版为何效果和在线 API 差距很大 中发帖 在线 API (硅基流动 / 阿里百炼)能正确解读数据,正确识别意图,而本地部署版本就非常呆。(尝试过 ollama 直接下载的 ds distill qwen 32b fp16 版本和 modelscope 下载并导入到 ollama 的 ds distill qwen 32b 非量化版,效果都是很差),有佬有有这方面经验吗
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/496406/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888