选课求助！ML数学基础 加很多米

Vote for Optimization，楼上说的都很好就不赘述了

虽然老板跟我说optimization最重要，但是我个人vote for analysis 如果做theory ml的话

如果不做那个的话也vote for math，理由是优化或者泛DS一点的统计很多研究生项目都是可以上的，但是数学课过了这村没这店。（这点墙裂欢迎探讨）

优化虽然很重要，但是如果本科优化不教到一些非凸数值解法的话感觉也就是看个热闹。更何况最后都是sgd(loss), adam(loss)(tensorflow)， 谁管那么多

Nativeatom 发表于 2017-12-4 05:40
虽然老板跟我说optimization最重要，但是我个人vote for analysis 如果做theory ml的话

如果不做那个的 ...

我们这课是随便选的，顶天跟老师打个招呼帮你注册……数学系的课又不火，肯定有位置。博士的项目要求学分很容易凑吧。
如果analysis里选那就函数分析吧（但是别的分析基础自己补补）。

补充内容 (2017-12-5 02:52):
泛函分析……

find_advice 发表于 2017-12-5 02:52
我们这课是随便选的，顶天跟老师打个招呼帮你注册……数学系的课又不火，肯定有位置。博士的项目要求学分 ...

我是本科生，而且我在国内（是不是不该提老板这种字眼......）

同时关于您之前的回答我有一点疑问。诚然现在DL用到的数学不算很多，但是行业总是要发展的，不能总盯着现在的水平看，更不要说stand out了，到时候理论水平受制约的话怎么去做更好的工作呢(我之前看的都是NLP论文突然来个statistical learning方面的文章就感觉很不适应)。我觉得要上数学课也是从这个角度出发的（国内统计还在数学下面，这里有时候就不分了，不过国内高阶统计可能也开不了什么吧，最多开个ttime series(顺便问下这课怎么样)）

Nativeatom 发表于 2017-12-5 05:09
我是本科生，而且我在国内（是不是不该提老板这种字眼......）

同时关于您之前的回答我有一点疑问。诚 ...

我觉得统计和数学系的课程对DL是偏的。他们的数学也很好，但是DL用不到。不长篇大论，简而言之就是数学统计玩的是定理，什么条件出发得到什么样的结果，严格的bound。数学更偏重于概念，给一堆很包罗万象但是不现实的定义推出概括性的答案。非常严谨，但是不是DL的风格。而DL则要的是结果的提高，所谓理论都是解释性的。是定理和解释的区别。不严格类比，数学和DL是西医和中医的区别，在早期，经验型的中医更实用，我也希望后期数学能像西医这样从根本上解释所有的模型并更有目的地提高模型。但是现在不行。最近单层hidden layer的文章都灌疯了，但是完全无法做深到能用的地步。唯一多层的Kawaguchi的比较有名那个NIPS已经满身枪眼了。

statistical learning不是dl，而且走得很偏（当然你可把文章贴上来，说不定我说的不是一回事）。DL侧重在重重不严格的数学下面得到很好的结果。当然也很像inference和learning的区别。

我觉得大部分数学的课就不用上了，他们太重于把定义每一个细节抠到完美，不需要。统计更接近一点，但是工作哲学一定不要带偏，做DL的目的是性能+可解释，而不是严谨的worst case bound。

至于什么样的数学好，我觉得可以以DL偏理论为主，statistical learning为辅这样读论文吧。

补充内容 (2017-12-5 05:35):
课程可以旁听或自学前半段，以理解哲学为主，但不需要学深到能推定理通过考试的地步，尤其是数学。

补充内容 (2017-12-5 05:36):
我是吧统计和数学分开说的，感觉还是有很大不同的

补充内容 (2017-12-5 05:41):
我明白你读statistical learning paper的感受，我是反过来，读DL的论文感觉不用动脑子。但是你不用读那些paper，你眼里数学那么6的人，绝大部分连NLP课的期末project都写不出来。

补充内容 (2017-12-5 05:45):
至于行业发展，你改进目前最好的domain内文章就行了。DL和数学的统一不是一朝一夕之功。差太远。而且几乎没有人两方面都非常6，Ben Recht算一个吧。当然，有时间的话我个人对主动多学的人总是欣赏滴，只是不急一时。

我觉得opt学到最后，对DL而言，学会迭代法找最小值--用梯度下降一件事就足够了。

简单吧，但是……举个例子，很多opt文章claim非凸优化中算Hessian vector product这个模型不好，因为nabla^2 f(x) v = lim eps->0 (nabla f(x+eps*v) - nabla f(x))/eps需要对相近点求极限，乘除eps会带来精确性问题。

有道理吧。但是你可以定义函数F(x) = \nabla f(x)^T*v，这样对F(x)求导，直接得到结果，同样精度只需要最差少于10倍时间（worst case又来了）。完全没有问题。

有道理吧。但是这个模型是基于full grad的，在stochastic grad中会有问题。

这些opt课程都不会讲，但是能想到这个还是要一些基础的，这也是我说要理解定义和基本思路。当然看论文你会直接找到关于这个的讨论。另一方面，opt课程讲的什么polar，normal定义，primal/dual，line search，nesterov acc（momentum思想还是有用的），interior point，mirror，ellipsoid/vaidya都很少在DL用。quasi newton不好评价。

一点做opt TA的感受吧。

补充内容 (2017-12-5 06:06):
batch思想有用，可惜大多数opt课程不讲。stochastic和会涉及但不是重点。momentum大概会一步到位到nesterov。svrg你们也不用吧。so摊手。

补充内容 (2017-12-5 06:08):
反倒是opt花大篇幅讲的smoothing，relu这么个不smooth的函数也没见谁把smoothing当回事。

find_advice 发表于 2017-12-5 05:34
我觉得统计和数学系的课程对DL是偏的。他们的数学也很好，但是DL用不到。不长篇大论，简而言之就是数学统 ...

感激

个人理解对于非数学专业的人来说，几门数学课也不能带给他们整个数学思维的框架和背景，以及那种严谨精神。主要是对很多东西有了一个概念，展示（比如申请的时候）给教授们的数学课也主要是这个目的。（我之前想选实分析的时候组里面一个数学系过来的博士生学长就劝退，说这个学一点点那个学一点点整个人的思维会乱掉，不知道有没有道理）

另外是不是DL也正是靠着堆结果不等理论才能一下子发展起来，自己很难说是AI的终南捷径。很多大佬还是statistical learning，虽然知道DL有很多暴力突破但也不一定感兴趣（当然也许是因为他们玩这个的时候还没有DL，总要先守好自己的一亩三分地。或者DL算是Hinton派的成果，Hinton也只是山头中的一个而已）

老哥加个微信向你学习好伐：)

Machine learning is not just deep learning. In fact, deep learning is getting beefy in math especially when it is applied in other problem framework. Just as what LS said, taking a few courses in math will not make you a math master but in my opinion it will give you ideas about how to solve a problem in a more mathematical way rather than just hacking to the solution. So I feel optimization may not be very useful for some research but it is a fundamental brick for lots of ML models.

哇哈哈 DL是中医这么比喻太好了！

DL中医神比喻哈哈。数学的话如果做偏CV这方面，随机过程感觉用处不大。建议学最优化和多元统计。这两门课以后科研你可能压根用不到。但是如果不学的话以后很有可能在某个时间段觉得知识体系里缺了点什么，很不踏实的感觉