📌 📄 内容摘要:
@LukeWang 在 除了Ollama还有其他适合本地运行LLM的软件吗 中发帖
只讨论Windows系统的相关工具。
Ollama存在性能问题，并且支持的模型有限。尽管可以直接运行HF上的GGUF，但是如果需要自定义一些内容还是得写Modelfile，不是很方便。并且在有相关PR的情况下也一直没有支持rerank类模型。因此有没有其他可以替代Ollama的工具用于本地运行LLM。
如果将这类工具分为两类，那么更倾向于LM Studio这样的一键安装且带GUI的软件，可以方便配置。而像vLLM这样的软件包配置比较繁琐，并且它们原本是为Linux设计，在Windows上可能有依赖缺失，导致安装维护更麻烦。
PS：不用LM Studio是因为它不开源。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/762212/1
─────────────────────────────
📢 来源：LINUX DO
