AI论坛 AI论坛 beta

星赛艇 (@saiting) 在 测试了ollama的最新mlx模型,结果有点不太敢信 中发帖

📌 📄 内容摘要: 星赛艇 (@saiting) 在 测试了ollama的最新mlx模型,结果有点不太敢信 中发帖 今天用m4max 40c测试了ollama首个支持mlx的模型qwen3.5 a35b-nvfp4: 这个ttft速度我甚至都不太敢信 [image] (重点是这个prompt eval速度)但是小说的插针测试是成功的,有效窗口就算是16 k也超过了omlx的速度(图2是omlx社区benchmark),请各位佬友给我的测试捉捉虫,有条件的可以去试下ollama?我自己这样用下来体验很良好,以后可以集成到我的工作流里。 [image]
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1879000/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888