📌 📄 内容摘要:
bard 在 lmstudio 0.3.4 集成llama.cpp和MLX 利好MacOS 中发帖
链接: https://lmstudio.ai/blog/lmstudio-v0.3.4
LM Studio 0.3.4 ships with an MLX engine for running on-device LLMs super efficiently on Apple Silicon Macs.
[image]
安装后能看到有两个运行时, 选择不同的模型文件可以在各自运行时下跑大模型了.
在客户端能看到的MLX模型如下:
[image]
在huggingface搜索带有MLX关键字的模型进行导入
之前用MLX命令跑过模型,单体验下来不是很舒服,比如下载模型,管理,对话等都需要命令行控制 现在可以通过lmstudio使用MLX支持的模型 让macOS发挥更大优势
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/228830/1
─────────────────────────────
📢 来源：LINUX DO
