选课求助！ML数学基础 加很多米

Mark一下

帮大神顶，给你加米！

讲真，ML这东西没必要学数学。尽量避开数学系的课吧，就算是统计的大部分推bound的也没用。

joezhou 发表于 2017-12-1 00:15
Optimization 很重要

没用，基本上直接调个adam optimizer。现在所有的理论对找到optimum都没有保证，ml的优化几乎是玄学。当然可以分析grad vanish之类的，但是optimization课上绝壁不会讲这些。

补充内容 (2017-12-2 07:47):
那些分析最多听个前一半，到最后就是数学系搞个model自嗨，理论很漂亮，实际用不到。测度有个概念，但也同理

补充内容 (2017-12-2 07:48):
随机过程不同系讲法差太远，看实际情况吧。总而言之太深的数学系玩的数学都用不到。

同楼上 学了三年数学系 不知道学了啥 ml那一套优化和数学系课程不沾边

find_advice 发表于 2017-12-2 07:45
没用，基本上直接调个adam optimizer。现在所有的理论对找到optimum都没有保证，ml的优化几乎是玄学。当 ...

前辈所言极是 但是我看地里很多ML招生的老师
都写了最优化 统计 和数学好是big plus？
如果不继续强化这些方面 要想在ML（AI）领域有所建树 要主攻哪些方面呢？
large scale distributed computing system这类的计算项目？

I vote for optimization. You might not need a deep understanding to optimize a neural network but you definitely need to know how to optimize a cost function you tailored for your problem.  Lots of CV papers are just build a small system according to the problem and put everything into an analytical cost function and then solve it within a deep learning framework.

我们学校的随机系统讲了dynamic programming, markov decision process还有convex optimization. 如果楼主做AI想偏reinforcement learning的话DP和MDP学了应该用处挺大的。当然要看你想做哪个AI分支，以及你们学校的课程大纲了

find_advice 发表于 2017-12-2 07:45
没用，基本上直接调个adam optimizer。现在所有的理论对找到optimum都没有保证，ml的优化几乎是玄学。当 ...

个人觉得呢，你说的这些也对，也不对。。对的部分在于确实project或者research中很少涉及那么深的数学原理。。但是照这个思路，就没有什么有用的课了。。除了基础的ML/DL的模型，其他的什么都不用学，需要用哪些知识wiki一下，找找现成框架下的代码。。这样或许能解决不少问题，但是也限制了更高的发展。。

zpinthehouse 发表于 2017-12-3 09:12
个人觉得呢，你说的这些也对，也不对。。对的部分在于确实project或者research中很少涉及那么深的数学原 ...

我觉得这些课程真的和research脱节了，research和industry脱节了。就连正统的ml课，大部分也是传统的ml，而这几年算是dl称王吧。我觉得就是上cs开的那些应用课程（NLP啊，CV啊，各种其他名目的），以做项目为主。其他的，想做什么方向直接读论文吧。我这种做偏数学的读dl论文就是消遣（当然他们用很模糊的理论就能做出那么好效果，想想比写数学证明难多了）。
但是数学类课程确实大多无关，尤其分析类，都是很抽象的高度归纳的理论，或者统计也太偏重于推bound了，不是一种玩法。

补充内容 (2017-12-3 12:13):
说不定有一些好课能解决你说的“学什么”的问题，但是lz列的这些课，除了基本概念能作为intuition之外，没必要深入

补充内容 (2017-12-3 12:15):
为什么说别学数学，其实dl算不上科学，更像中医，缺乏严谨的理论基础（公理、定理之类的严格体系），但是很多时候好使，这就够了。相比现在，90年代的神经网络论文都更concrete些。