LLM Training 学习资料分享

谢谢楼主分享zszs

看了一下博主做的, 感觉目前整理的量不多.
我觉得博主这个整理很详细,有点像 bottom up 的模式.
我一直觉得 top down 的方式梳理会比较好

太详细了，收藏了，希望楼主继续更新

好贴支持下

anon_yoo 发表于 2024-9-27 01:38
看了一下博主做的, 感觉目前整理的量不多.
我觉得博主这个整理很详细,有点像 bottom up 的模式.
我一直觉 ...

感谢建议，我现在也在整理学习，目前的这个结构主要是保持了原来的论文中的章节结构，可能不是特别的直观，我之后会再稍微整理一个更 top-down 一些的

YangLoveXin 发表于 2024-9-28 11:47
感谢建议，我现在也在整理学习，目前的这个结构主要是保持了原来的论文中的章节结构，可能不是特别的直观 ...

楼主好，我这几天看到了这几个网站，讲的挺深入浅出，从最基本的 ML/Deep learning 讲到 LLM ，最基础的知识点全部踩到了，楼主可以参考一下：

https://lulaoshi.info/deep-learning/attention/attention.html
上面网站的图床在国外没法访问，可以看他 GitHub 上的版本
https://github.com/luweizheng/lulaoshi.info

这个网站就做的内容有点太多了，但仍然很全面。我个人觉得，除非是研究 model 的人，我们做 SDE 的，只需要知道现在业界最好的解决方案是怎么做的就可以了，很多东西我们不需要知道。
https://zh.d2l.ai/chapter_attention-mechanisms/index.html

anon_yoo 发表于 2024-9-28 19:54
楼主好，我这几天看到了这几个网站，讲的挺深入浅出，从最基本的 ML/Deep learning 讲到 LLM ，最基础的 ...

感谢分享！传统的 ML 和 Deep Learning 的我之后也打算做一个专题分享一下（可能更侧重推荐系统和广告）

然后推荐系统的话王树森大佬的视频做的很不错（虽然有些内容稍微过时了），可以当一个引子来入门，直接 B 站搜索就能找到

我记得亚麻有个印度女的 整理了一个超级大LLM教程的github。。
但是他至今还没跳槽

非常感谢 手动点赞

anon_yoo 发表于 2024-9-28 19:54
楼主好，我这几天看到了这几个网站，讲的挺深入浅出，从最基本的 ML/Deep learning 讲到 LLM ，最基础的 ...

仔细看了一下你分享的资料，第一个感觉很全面（看了下竟然还有 CUDA/Numba 的东西，也都是我最近在研究的）；第二个是个蛮有名的书，好像是当时李沐大神在 Amazon 搞 MXNet 时候推广的一本书，也非常赞！