我在CMU第一年修过的ML课

转眼间来CMU已经一年了，这一年时间里我主要的课程都在ML方向，面向即将来CMU有兴趣做ML的同学还是想part-time学习的同学，最后求加大米啊啊～

## 10-715 Advanced Introduction to ML
CMU的intro to ML课分为10-601，10-701，10-715三个等级。

- 10601
先说一下601，面向以前从来没有ML基础的同学，这两个学期都是Matt在讲，身高一米九的帅气大男孩，是MLD的teaching professor，讲课思路非常清楚，语调引人入胜，答疑充满耐心。我为什么如此吹Matt呢？因为曾经有两节715的课就是他代课的，比原来的老师不知道清楚到哪里去了！答疑方面，这学期Matt的课刚好在我的前一节，经常去上课时能看到Matt周围围了一圈学生，一个个答疑。甚至于，有一次我上完课出来，看到Matt还在答疑！答了一个半小时，天了。

- 10701
PhD level。主要面向有一定的ML基础，或者要对ML掌握到比较高程度的同学，这学期（Spring）是Leila在带，作为新老师不能要求太高，但是同学们普遍反应Leila有点找不到讲课最佳状态，最后半学期还是老公Aadi替她上课的。我有同学上过701，作业的量要比715略多一些，至于难度也不算低，要求对ML理解到一个比较好的程度。

- 10715
这个才是真正的PhD level的ML intro，所以叫Advanced Intro，具体来说我没有感觉到这个课有多advanced，这个是后话。我仍然记得第一次作业留的四道题无一会做的困窘，只得去office hour跪求答案，好在大家也都不是很会做哈哈。后面就下调了作业的难度，大家也都轻松愉悦了起来。

workload还是很大的，五次作业，两次考试（有一定难度），再加上一个project。作为CMU intro的王者自然不会是水课。当时上课的是Nina，操着一口标准的罗马尼亚口音，而且语速奇快，她讲着讲着会激动地加快语速，到了那时候我就完全听不懂了。总体来说这门课是一个比较好的能让你对ML众多方向有大概认识的课，同时也大概能看到CMU这一年认真搞ML的人都有谁，发现同道的小伙伴。

## 36705 Intermediate Stats
Siva讲的一门统计系的Intro课程，关于ML和统计的关系这里不再赘述了，如果真的要搞ML统计不能不学，不能少学。这门中级统计说是中级，我感觉很终极。以至于后面我学得更多了之后，发现所有的内容都在705 notes里包含了，只是那个时候这些内容并不要求掌握，这也就是说，对于没有过多统计基础的同学，这门课是有些难度的。

十次作业三次考试，作业都比较难，考试更加难，但是如果你真的seriously想搞机器学习，来吧，这门课是一门绕不过去的课。

## 10716 Advanced Machine Learning
Pradeep在19spring新开的一门课，取代了原来的statistical ML成为了ML PhD的必修课。请不要被这门课的名字迷惑，传说中的“高级机器学习”是一门完完全全的统计课，当然这并不让人很意外就是了。Pradeep开始的syllabus上踌躇满志，把大半的统计内容都包括了进去，后来根据大家接受的程度（主要是发现有很大一部分同学没有上过705中级统计），把内容砍了一些。

主要包括了基本的统计知识，比如statistics, inequality, tail bounds, 还有stabality, sparse linear model, lower bounds以及online learning的一些内容。

workload方面还ok，有五次作业，两次考试和一个project。

## 10707 Deep Learning
男神Ruslan开的深度学习课，课程有online版本，讲课深入浅出，是非常有帮助的一门课。

三次作业和一个project，作业主要是用numpy写一个神经网络，以及CNN，以及用pytorch写一个seq2seq model。非常友好。

大概就是这些，CMU大家必上的还有725 convex opt，偏统计的同学会上36709 36710 theory两部曲，但是那是更难的一部分了。一般搞非statistcal ML的基础课就到此为止。大家有什么问题可以评论问我哈！

## 还有求加米求加米求加米～


补充内容 (2019-5-8 06:08):
附上以上课程的链接
715 Advanced Intro ML http://www.cs.cmu.edu/%7E10715-f18/
707 DL https://deeplearning-cmu-10707.github.io
716 Advanced ML http://www.cs.cmu.edu/~pradeepr/716/

农民me 发表于 2019-5-8 05:32
What about 11785. Will take that course in fall....

如果说707是偏理论一些的话，785就是纯码课，应该是要刷leaderboard所以会比707花时间更多（刷无止境…）

据Raj说如果785拿到B+就可以胜任一般的deep learning engineer工作，意思就是说可以搭建dl黑盒子完成任务了，没上过但是觉得算是不错的课

moonlighter 发表于 2019-5-8 01:00
看完五门core ml要求后都想退学了...所以lz觉得周围小伙伴上715,716和305的时候普遍都感到困难吗？

身边的人分这么几种
1. ML以及stats的phd们，基本上ok，有几个神牛毫无压力
2. MSML基础一般都不错，716会略微有点难度
3. 其他项目的ms和phd们，少数会感觉麻烦一些，但是都能survive

yf233 发表于 2019-5-7 23:24
请问601和707如果只选一门上的话楼主推荐哪个呢？我本科没有上过ml/dl课，但是research和工作中用过很多mod ...

推荐601，ML不仅仅有deep learning，601会让你对更多的method有了解

话说这些课是不是很热门啊，我打算8月再选这些课，是不是来不及了

Mid_Push 发表于 2019-5-7 10:44
话说这些课是不是很热门啊，我打算8月再选这些课，是不是来不及了

如果想上的话，一般都是在开放选课的第一时间选的

看起来好棒啊！！！感觉有点后悔没有选cmu了.... 谢谢分享 可以Google自学一下haha 祝楼主实习顺利呀!

lz你觉得以后大概率不搞ml的人，有没有必要修个10601+10605当作拓展知识面？

ekiyochan 发表于 2019-5-7 16:19
看起来好棒啊！！！感觉有点后悔没有选cmu了.... 谢谢分享 可以Google自学一下haha 祝楼主实习顺利呀!

谢谢！上面的所有课都有主页和所有的课件，可以参考哈哈

ForAiur 发表于 2019-5-7 16:31
lz你觉得以后大概率不搞ml的人，有没有必要修个10601+10605当作拓展知识面？

我觉得主要看兴趣，如果你想了解ML的话不用犹豫选Matt的入门课吧

请问601和707如果只选一门上的话楼主推荐哪个呢？我本科没有上过ml/dl课，但是research和工作中用过很多model算是有基础，想要上门课系统梳理一遍理论部分。

看完五门core ml要求后都想退学了...所以lz觉得周围小伙伴上715,716和305的时候普遍都感到困难吗？