📌 📄 内容摘要:
@JayNing 在 关于 LLM 的一些资料_v2.0 中发帖
去年写了一个比较理论导向的资料, 今年干了不少关于LLM的活. 对这玩意有了更具体的认知, 写一个更具体更有实操意义的资料合辑吧 前情提要:我是在从Algo去看的本身不是特别懂infra 对infra只停留在浅浅的观测为了干活(但也指出了一些好的资料).
因为是写公开的帖子 所以说删去了一些内部分享的录屏 可能会导致学习难度变高
ps: 本资料比较有深度 不是那么容易啃下来的哦
训练算法
预训练架构算法
探秘Transformer
科学空间
预训练系统算法
infra入门课程(topic介绍)
infra进阶读物
cuda算子优化
训练并行算法
如何大规模运行模型-从scale出发
如何大规模运行模型-从train出发
infra推理端
Scaling Law
scale law概览
scale law的开端 术语背背
scale law的一种拓展
s...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/884077/1
─────────────────────────────
📢 来源：LINUX DO
