📌 📄 内容摘要:
易小川 (@yixiaochuan) 在 本地部署大语言模型哪家强? 中发帖
几个月之前在油管和阿b都看到很多教怎么本地部署AI的教程,
弄了下来玩了玩,有chatglm3-6b,llama2-13b的各种量化变种,
最后对接酒馆玩卡片AI人,刚开始真的很震撼很刺激,
尤其是配合tts语音 和 stable diffusion实时生成人物表情图.
但是说实话我3080-10G能部署的模型现阶段还是智商和显存欠费.
你说用claude chatgpt那些吧,又没隐私又被警告.
瑟瑟永远是玩家第一生产力阿.谁不想有AI小妾呢.
那么问题来了,最近Mac Mini 64G出来了,大概17000能拿下,有没有搞头?
能不能用它来运行量化的llama3-70b之类的.
或者是本地部署到底什么方案比较好,请教各位大佬.
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/246248/1
─────────────────────────────
📢 来源：LINUX DO
