📌 📄 内容摘要:
@Bennett1987 在 DeepSeek 新手上路 (二) 模型自部署 中发帖
前言：笔者最开始接触LLM还是在22年底，当时INT8量化红极一时。 后来转战LLM训练，Zero&张量并行&流水线并行 方兴未艾，再到封闭平台的基础Framework/算子支持，逐渐被LLM应用侧的先进work远远甩开辣，重新变新手上路，也给其他新手佬友提供些思路。
简单记录下在计算集群上自部署DeepSeek的过程。
自部署的目的是：
告别 服务器繁忙
需要借助模型完成 隐私敏感型任务
乐于折腾+真的好玩
刚好能接触到一些 有一定算力的硬件
评估硬件性能及提供内部服务的可能性
1. 工具及模型选择
本地部署模型并不复杂，主要矛盾是佬友们日益增长的高质量模型需要同孱弱的个人硬件性能之间的矛盾。
部署工具方面已经非常成熟，笔者大致扫了下当前关于DeepSeek本地部署的文章和教程，主流的部署工具一般会选择：
Ollama
LM Studio
llama.cpp
开...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/422823/1
─────────────────────────────
📢 来源：LINUX DO
