AI论坛 AI论坛 beta

天哥在写bug (@chengtx) 在 只有4g显存能跑7b int4量化llm吗 中发帖

📌 📄 内容摘要: 天哥在写bug (@chengtx) 在 只有4g显存能跑7b int4量化llm吗 中发帖 rt,参加教育局的agent比赛 要求自部署qwen-7b-chat-int4 (没错就是这个两年前老掉牙的模型 翻遍我在的整个高中就找到学校有一台8th i5 + 16g ram + rtx 1050ti 有办法在这么极限的环境下部署吗,请教下有什么方法 :tieba_087: [image]
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1241707/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888