📌 📄 内容摘要:
@milkey 在 我做了一个 Ollama JSONL 批量推理工具，除了 Ollama 还支持 Deepseek 等 OpenAI Style 兼容 API 中发帖
你好啊，
我最近在做模型微调时，需要对一些数据进行预处理和生成一些 DPO 使用 Rejected 的负面数据（虽然我后来才发现智谱的 GLM4-Flash 有提供免费的批量推理），
我很自然的想要使用 Ollama 上部署的 Qwen3 30B A3B ，但是意外的发现似乎还没有 Ollama 适用的 JSONL 批量推理工具。我总觉得它本应该存在，于是我就做了一个。
当然使用起来也非常简单，如果你的 Ollama 在默认端口最简单的方法是只需要将你的 JSONL 重命名成 input.jsonl 丢到和程序同一个目录底下然后运行就可以了，当然记得把 JSONL 中的模型名称改成你需要的模型名称，或者用 --model qwen3:30b 参数来指定你的模型名称。还有记得参考 这里 配置一下并发（ CPU 推理和混合推理是没有并发的，改了环境变量似乎也没用）。
更多的用法可以...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/745697/1
─────────────────────────────
📢 来源：LINUX DO
