AI论坛 AI论坛 beta

vfx (@freebsdfx) 在 过那么久了,llama.cpp终于正式支持多模态高精度了。 中发帖

📌 📄 内容摘要: vfx (@freebsdfx) 在 过那么久了,llama.cpp终于正式支持多模态高精度了。 中发帖 三天前才正式支持的,把多模态图片识别之类的部分,单独独立出一个gguf文件。 我去看了一眼unsloth量化模型,好家伙,一大堆模型全部改成了新的量化版本。 现在运行需要两个文件,一个是模型gguf(量化版本),另一个是多模态高精度(float16)版本。 简单测试了一下gemma3 27,感觉效果能甩ollama的图片识别好几条街。就连官方google aistudio识别不了的图片,现在也能识别了。也许这就是float16完全体的实力。 ollama不知道什么时候能跟进,希望尽快支持吧,现在OCR识别能力也太糟糕了。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/646423/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888