EE自学机器学习， 硬Train一发（持续更新）

楼主是EE在读博士，雷达方向。学校里没有什么机会上ML的课，索性利用网络资源硬train一发。学习动机主要是对自己的研究领域确实兴趣不大，研究传统雷达算法确实卷不过那些老B们（没有恶意）啊。主要是楼主本科，研究生，博士一直在换方向，读博也是随机来读的（非常随性）。所以并没有在一个领域里一直积累硬刚。所以楼主并不是很会雷达啊！也就是硬学一发能干活而已。后来在研究中发现，任何领域+ML都很有搞头：最近几年感觉真的是这个样子，比较容易创新和发文章。然后楼主就利用科研板砖以外的时间偷偷自学ML，楼主学校ML课辣鸡，所以就开始DIY机器学习。
本帖子纯属娱乐，顺便写写自己的学路历程和心得体会。也顺便持续鼓励自己继续学下去。也顺便能找到志同道合的朋友。


先说一下楼主机器学习的当前水平：

• 自学了mathematical fondation for machine learning（MFML） (https://jrom.ece.gatech.edu/mfml-f20-notes/): Gatech 的课，讲了机器学习需要用的数学： 线性代数，统计学习，优化。自己详细认真读了笔记，做了总结，也把作业都写了一遍。这门课非常的好，是机器学习的内功，看完之后感觉读数学的能力起飞。老师的Notes非常棒，个人打分1W分。课程优点是，数学确实学爽了: 线代，概率，优化，各种Space, Hilbert, RKHS ...； 统计概率，Bayesian stats, classical stats, 还有最酷炫的Supervised learning fundamental theorem: Generalization theorem. 这就是 overfitting, underfitting 背后的数学理论，太牛了，细品极牛。 缺点是不包含Deep Learning，但是DL只是机器学习的一个部分，课程也讲了一点DL
  
  总结：机器学习的九阴真经，楼主自学了有大概3个月吧（几乎天天学，如痴如醉，一段快乐的学习时光）。
  

• 看过andrew的CS229大部分视频，也记了笔记。写了几个作业。CS229 最后没有把作业写完。个人感觉CS229讲的比较杂，内容确实很广，耗时也确实耗时，也是打基础必备。
  
  总结：机器学习的入门和基础（类似少林武功的罗汉长拳， 自学了有2个月左右。
• 后来发现自己研究中想用到Deep Learning, 于是就去看了andrew 在 coursera 上的DL specialization.
  
  总结：DL实践入门（类似华山派的剑宗， 学了就能用，各种Architecture花里胡哨，骗骗外行麻瓜们很可以）， 自学有1个半月左右（没有天天学）。
• 现在楼主在学李宏毅老师的ML 2022： https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php
  这个老师确实神啊，复杂理论深入浅出，细品一下以前看的数学确实说的是这回事啊。楼主最感动的是这个老师讲清楚了神经网络的设计之道：为啥CNN要设计成那个样子，是因为图片本身具有一些特殊的Pattern(feature 只出现在一小片region， 同样的pattern可能出现在图片的不同位置)；还有RNN为啥要设计成那个样子，详细的不说了。
  
  总结，DL/DL神一样的课程，早学早受益。 楼主目前跟到了第三周，准备把作业都写写。
  

路漫漫其修远兮，吾将上下而求索。今日以贴明志，必将李宏毅老师的课程学完。
今后我会更新一些学习和写作业的心得。

硬train一发老师讲得是真的好

小亩_ll22qw3 发表于 2022-3-20 20:48
请问RNN的设计原理是什么呢？谢谢

就是和self-attention类似的思想：因为sequence data 要考虑到element和element之间的关系，所以必须要有一个机制让NN能够算这个关系。建议去看李宏毅老师原视频

推一个我正在看的的四五天的deep learning bootcamp: MIT 6.S191 http://introtodeeplearning.com/
过一遍之后对DL有比较全面的基本认识+上手tensorflow，而且intuition讲的比我们computer vision的老师还清楚...
(不是我偷懒而是我需要快速上手DL，这个课程正好适合..)

顶一个，楼主加油

硬了           

请问RNN的设计原理是什么呢？谢谢

"自学了mathematical fondation for machine learning（MFML）"

请问这个有视频可以看吗

真心硬核~！Mark一下 看看后续课程