AI论坛 AI论坛 beta

@jason0522 在 ollama本地模型 api回复慢 中发帖

📌 📄 内容摘要: @jason0522 在 ollama本地模型 api回复慢 中发帖 服务器:ollama run deepseek-r1:14b 使用api调用花费:80秒 服务器有两个gpu(单个16G),调用api时只跑了一个gpu 这里有什么方法可以加速回复
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/380811/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888