📌 📄 内容摘要:
Altria (@Theanysome1888) 在 处理文档用哪个本地模型更好呢? 中发帖
RT
公司有业务需求,想要配一个Dify处理一下文档(大量的Excel文档),现在想要本地布一个大模型,配置为4090-24g显存。
还有想问一下显存和参数量的关系,是看模型大小是否小于显存吗?如果等于或大于会发生什么?听说有GGUF格式可以利用内存,这个又是什么原理?
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1919991/1
─────────────────────────────
📢 来源:LINUX DO