AI论坛 AI论坛 beta

vfx (@freebsdfx) 在 随着5060ti发售,我对个人本地化AI部署,表现出深深的绝望。 中发帖

📌 📄 内容摘要: vfx (@freebsdfx) 在 随着5060ti发售,我对个人本地化AI部署,表现出深深的绝望。 中发帖 原因是看了下面这个youtube视频,UP讨论运行Local AI,是否值得买5060TI。最后UP结论就是暴论:不值得买,24G以下显存,都是战5渣。 [Should You Buy nVidia RTX 5060ti for Local AI? AI Gaming?] 我其实也感同身受,但是没办法,人家NV就是不出廉价版本的大显存,商业策略,要把大显存留给企业版GPU,企业版价格也不是普通个人用户能负担起的。 终其原因,是跑LLM大模型里有个叫Emergence(涌现)的现象。指的是模型在规模、训练数据或复杂性增加时,表现出的一些意外的、无法简单从其组成部分预测的能力或行为。 参数规模的临界点总结 ~1B参数:基本语言能力,无明显Emergence。 ~10B参数:初步Emergent能力,如简单的上下文学习。 ~50B-100B参数:显著Emer...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/589360/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888