打算做ML应该上什么数学跟统计课

感觉学校的课好多，学分完全不够用
有一些课的pre-requisite互相套娃，整的学cs的话能上的课就非常有限

想问一下像non-linear optimization跟stochastic process这样的课对于ML会有帮助吗，或者说还是应该去上一些像data analyze这样比较朴实无华的统计课或者说是更多project相关的cs课（比如software engineering）
灰常感谢！

优化和随机过程对比较普遍的ML都没什么大用 除非你想做的部分直接相关 叫数据分析的一般都是水课 学的东西深度不够 比较高级的统计理论课可以上一上 多变量微积分和线代如果还不太扎实的话可以考虑补一补 除了这些我觉得读paper写代码实现要比上课有用的多

debuger 发表于 2022-5-27 23:08
convex optimization 有找到比较好的课程吗？谢谢

你好，（因为这学期时间有限、所以没有专门找视频lecture来看），但是个人有看一些优化方面的书（作为学习之余的reference和工具书了），推荐两个课程主页（有syllabus/slides/problem sets）：
一个是cmu的convex optimization:
convex optimization

一个是pku的最优化建模、算法与理论（个人觉得在某些chapter写的更符合中文思维一些）:
最优化：建模、算法与理论

看你是想多上一些cs方面的课，还是ML theory方面的课…
如果想多了解theory的话，其实我个人感觉最重要的pre-requisite是matrix calculus（基本功、当然也可以看cookbook，但如果想手推的话，这部分还是尽量掌握下来），convex optimization（我个人觉得ML最终要的部分之一，不然很难从一个loss函数推出要如何对它进行优化、以及适当放松条件以后仍然可以达到优化目的）。
至于stochastic process，我个人觉得这门课很statistical了，如果lz对statistics learning感兴趣的话倒是可以学（在一些statistics learning models中也有所涉及）。
最后，如果是从实践的角度来看机器学习的话，可能两部分比较重要：一部分是对特征X和label Y之间的pairwise建模，包括对原始数据的特征和label进行识别、选择哪种model来建模；一部分是设计Loss函数和后续优化。

补充内容 (2022-05-27 09:16 +08:00):
我这学期也在上introduction to ML，看了很多YouTube lectures，以下是一些我觉得讲的非常不错的视频合集（吴恩达老师这种很有名的我就不放了），LZ可以看一两个感受一下，其实凸优化和一点概率论的知识就OK了，在学的过程中遇到不会的地方就停下来从wiki上看相关概念和推导（我们老师称这个过程为递归学习…蛮形象的…）
Introduction to ML：
https://www.youtube.com/playlist...hKLDqccJSDntugY4FQT

关于EM算法的一个系列讲解：
https://www.youtube.com/playlist...8IfZZS0mnxD5TYZ6BIc

Caltech（个人觉得这里的Kernel部分讲的很好，第一个播放列表的kernel部分也很不错）：
https://www.youtube.com/watch?v=...ZDyz3CSl92TgDqIr0nw

没多深的数学 就微积分线代和概率统计入门 加一点点最优化一点点cs theory，再找本statistical inference书读透基本完事

dst111dst 发表于 2022-5-26 20:06
看你是想多上一些cs方面的课，还是ML theory方面的课…
如果想多了解theory的话，其实我个人感觉最重要的pr ...

convex optimization 有找到比较好的课程吗？谢谢

babybear68 发表于 2022-5-26 16:19
优化和随机过程对比较普遍的ML都没什么大用 除非你想做的部分直接相关 叫数据分析的一般都是水课 学的东西 ...

那随机过程对强化学习有帮助吗？我看我们学校有graduate level的RL theory课, 需要prior exposure to 随机过程/马尔科夫链之类的

多学些跟ML直接相关的CS课程，最好有final project，不是纯考试的那种，反正我研究生期间上了很多跟big data，optimization相关的非cs开头的课程，后来工作中也压根没机会用到。