AI论坛 AI论坛 beta

@Shadowroom 在 deepseek r1本地部署求教 中发帖

📌 📄 内容摘要: @Shadowroom 在 deepseek r1本地部署求教 中发帖 今天有时间搞本地部署了,先说一下我的配置: cpu: Intel(R) Xeon(R) Gold 5218 CPU @ 2.30GHz 内存:128G,3200Mhz 显卡:A6000 48G 硬盘:3.6T 机械硬盘 系统:Ubuntu24.04 1.部署用docker合适还是直接conda合适? 2.还想暴露端口供实验室的同学们一块用,这一步不太清楚怎么弄 3.48G显存打算只用一半,剩下24G用来做其他任务,这里可能是32B?想多听点佬友们的建议 4.LM Studio和Ollama哪个更合适,有什么区别? 我更倾向于用docker部署,感觉更便于管理,是不是用Ollama的镜像创建容器然后创建32B的模型就可以了? 希望各位佬友给点思路,多谢啦!
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/429293/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888