选课求助！ML数学基础 加很多米

下学期要艰难的6选1 因为是外系的课所以也没啥prerequisite

Optimization （最优化）
Functional Analysis
Complex Analysis
Analysis（实分析）
Measure, Integ & Probability （三合一高强度测度论.....）
Stochastic Processes （冤家路窄）

如果申请ML（AI） phD， 委员会 看见成绩单上高分出现上面里面哪一门会最开心？（没错就是这么功利，因为重要的都会自学，选课就为了成绩单好看）
下个学期只能选一门，真是悲伤。

另外在学分很紧张的情况下，
Multivariate Analysis  多变量分析，有必要学吗，这个课对于DS DA stat很重要这我知道 但是对于ML(AI)来说重要性如何呢？
求问各位大佬

指导一下两个问题我会追着你们加米的
拜谢

Nativeatom 发表于 2017-12-5 05:09
我是本科生，而且我在国内（是不是不该提老板这种字眼......）

同时关于您之前的回答我有一点疑问。诚 ...

我觉得统计和数学系的课程对DL是偏的。他们的数学也很好，但是DL用不到。不长篇大论，简而言之就是数学统计玩的是定理，什么条件出发得到什么样的结果，严格的bound。数学更偏重于概念，给一堆很包罗万象但是不现实的定义推出概括性的答案。非常严谨，但是不是DL的风格。而DL则要的是结果的提高，所谓理论都是解释性的。是定理和解释的区别。不严格类比，数学和DL是西医和中医的区别，在早期，经验型的中医更实用，我也希望后期数学能像西医这样从根本上解释所有的模型并更有目的地提高模型。但是现在不行。最近单层hidden layer的文章都灌疯了，但是完全无法做深到能用的地步。唯一多层的Kawaguchi的比较有名那个NIPS已经满身枪眼了。

statistical learning不是dl，而且走得很偏（当然你可把文章贴上来，说不定我说的不是一回事）。DL侧重在重重不严格的数学下面得到很好的结果。当然也很像inference和learning的区别。

我觉得大部分数学的课就不用上了，他们太重于把定义每一个细节抠到完美，不需要。统计更接近一点，但是工作哲学一定不要带偏，做DL的目的是性能+可解释，而不是严谨的worst case bound。

至于什么样的数学好，我觉得可以以DL偏理论为主，statistical learning为辅这样读论文吧。

补充内容 (2017-12-5 05:35):
课程可以旁听或自学前半段，以理解哲学为主，但不需要学深到能推定理通过考试的地步，尤其是数学。

补充内容 (2017-12-5 05:36):
我是吧统计和数学分开说的，感觉还是有很大不同的

补充内容 (2017-12-5 05:41):
我明白你读statistical learning paper的感受，我是反过来，读DL的论文感觉不用动脑子。但是你不用读那些paper，你眼里数学那么6的人，绝大部分连NLP课的期末project都写不出来。

补充内容 (2017-12-5 05:45):
至于行业发展，你改进目前最好的domain内文章就行了。DL和数学的统一不是一朝一夕之功。差太远。而且几乎没有人两方面都非常6，Ben Recht算一个吧。当然，有时间的话我个人对主动多学的人总是欣赏滴，只是不急一时。

虽然老板跟我说optimization最重要，但是我个人vote for analysis 如果做theory ml的话

如果不做那个的话也vote for math，理由是优化或者泛DS一点的统计很多研究生项目都是可以上的，但是数学课过了这村没这店。（这点墙裂欢迎探讨）

优化虽然很重要，但是如果本科优化不教到一些非凸数值解法的话感觉也就是看个热闹。更何况最后都是sgd(loss), adam(loss)(tensorflow)， 谁管那么多

Machine learning is not just deep learning. In fact, deep learning is getting beefy in math especially when it is applied in other problem framework. Just as what LS said, taking a few courses in math will not make you a math master but in my opinion it will give you ideas about how to solve a problem in a more mathematical way rather than just hacking to the solution. So I feel optimization may not be very useful for some research but it is a fundamental brick for lots of ML models.

Optimization 很重要

实分析，我们这行是这样。当然我是做Tree的

zaty 发表于 2017-12-1 02:53
实分析，我们这行是这样。当然我是做Tree的

嗯 记得老哥是偏DS/DA 感谢您的回复

个人感觉啊，优化和随机更重要一些。。特别是优化。。至于实分析测度论什么的当然很有帮助，但是没那么直接。。大部分ML问题都需要optimization，只是要看这个课讲的内容，要是普通的linear programming倒也没什么直接帮助。。

zpinthehouse 发表于 2017-12-1 03:02
个人感觉啊，优化和随机更重要一些。。特别是优化。。至于实分析测度论什么的当然很有帮助，但是没那么直接 ...

感谢您的回复 请问下您觉得Multivariate Analysis帮助大吗

首先 如果是凸优化就去上吧 蛮有用的 然后实分析和泛函测度 强行要分的化应该实分析是最基础的 测度会用到实分析 泛函会用到测度 要学肯定是实分析更重要 随机过程的话感觉我目前学的没怎么用过 也有可能是我学的太浅了 最后那个多变量积分不清楚 数学系没学过这门课。。有可能包含在数学分析里了吧

Vicmal 发表于 2017-12-1 03:17
首先 如果是凸优化就去上吧 蛮有用的 然后实分析和泛函测度 强行要分的化应该实分析是最基础的 测度会用到 ...

那个Multivariate Analysis不是积分啦 是多变量统计 这是应用统计学了 在鄙视链的最底端 感谢您的建议！


补充内容 (2017-12-1 03:30):
有数学系的前辈和我说学泛函有助于提高“灵视” 2333

Mitochondria 发表于 2017-12-1 03:27
那个Multivariate Analysis不是积分啦 是多变量统计 这是应用统计学了 在鄙视链的最底端 感谢您的建议！
...

说实话。。就算实分析泛函一类拿了高分 比如说我都是90+ 我也不知道这两门在讲什么... 如果真想要完全弄懂而不仅仅是高分 并且可以熟练运用的话 得刷很多很多题 在我看来性价比蛮低的..得花很多精力和时间 不如拿来做点更利于申请的

补充内容 (2017-12-1 03:48):
我知道了 我学过那门课叫多元统计分析 算法讲了一些 ml用到一些 不过数学证明都蛮简单的 我去听了几节uw的ml 感觉把ml上了就不会需要这门课了

咦？话说LZ也准备加入AI大潮了？记得好像你之前是打算做system的说…