LLM Training 学习资料分享

我又发现了一些讲 cuda 实现优化比较好的东西
https://github.com/BBuf/how-to-optim-algorithm-in-cuda

以及 framework 实现

https://github.com/BBuf/how-to-learn-deep-learning-framework

这个博客也做的挺好的
http://giantpandacv.com/project/ ... lashlinearattention

楼主大佬觉得现在有megatron这样在业界被广泛使用，已经是相对成熟的框架，还有可研究的空间吗？

justin_keen 发表于 2024-11-4 02:03
楼主大佬觉得现在有megatron这样在业界被广泛使用，已经是相对成熟的框架，还有可研究的空间吗？

不是大佬哈，还一直在学习

这个可能要看你的目的是什么了，是想补充自己的知识，还是想发现一些可以进一步改进的地方；如果只是单纯的知识性的话，感觉可以先看概念性的东西，然后按照 BFS 的方式去看同样一个东西（比如 PP）在不同的框架里面是怎么实现的；如果是想发现改进的地方的，那就需要 DFS 一些深入看框架里面的细节了

lol 看到一半发现是同事

james47 发表于 2024-11-9 21:36
lol 看到一半发现是同事

求问大佬您是哪位，slack 上求戳哈哈，交流学习！

手动点赞！

现在年纪大没有动力学习了。

douniwan 发表于 2025-2-4 00:58
手动点赞！

现在年纪大没有动力学习了。

活到老，学到老！

Thanks for sharing !

mark mark mark