做机器学习真是太难了

当年深度学习就是因为难以给出完备的数学证明才一直被打压，直到后来硬件算力提升，神经网络模型屠榜，才让其得以推广

greyman 发表于 2020-06-29 19:40:45
『神经网络不是创新，硬件更新让神经网络计算更便利才是创新，数学模型好久没创新了』，我可以告诉你神经网络里面的math比所谓SVM类别的优化"math" （学点微积分矩阵计算初等泛函就敢去忽悠人了）难很

作为optimal transport研究者，并不认为optimal transport是未来

真的需要回学校去读一个PhD统计才能够真正做到大厂的 principle data scientist 嘛

stupidguy 发表于 2020-6-30 11:48
作为optimal transport研究者，并不认为optimal transport是未来

我说的高维分析，你给我又换了个概念：optimal transport。OK我顺着你说。

虽然我不是研究这个的，但是大概的要点也知道。那我就看看你啥水平了。你是纯数的嘛，我不认为CS STAT能有人敢研究这个。单单黎曼几何（先修微分几何/流行）+泛函分析+PDE+概率论/随机分析就不是泛泛之辈能搞明白的东西。而我搞这个的朋友都是立志学术圈根本不会来一亩三分地的。因为搞optimal transport理论的人，数学花精力太多，技能点已经完全不适合去企业了。

现在问一下 泛函sobolev学的哪一本，do carmo的黎曼几何感觉难度咋样，ricci flow理解的如何？只是应用的话，那我也是optimal transport的研究者了，参见我某某某paper....😓。那我还是更信中国应数扛把子鄂大佬的话.....高维分析是未来。

现在做SDE都不需要刷到快1000道吧，楼主是不是准备过度了

ML和sde的交集大概只有python。ML的系统是需要很多交叉知识。这些新模型架构层出不穷，好架构新架构多是大厂提出的，如FG，其他厂一般是拿来用就好了。而且新model arch出来之后，旧的很快会被秒杀，迭代太快。

现实工作基本是在洗数据，修pipeline，修service，跑offline eval，跑各种奇奇怪怪的sql，写doc，跟pm撕逼，跟别的组撕逼
线上ab test基本是玄学，见过有的组做了一个新model，开aabb四个对照组四个不一样的结果
大部分吹出来的改进都是cherrypick metrics，事后硬凑一个story

我觉得深度学习在很多场合的生产力很高，所以很快应该就会淘汰一些过量的中低端深度学习工程师了。

的确很头疼，我真的有点像放弃，然后刷题看看能不能去sde

借用我manager一句话

神经网络其实是给了人们一个弯道超车的渠道 传统机器学习需要大量学术研究支持 然而现在nn只要一个黑盒子就能乱拳打死老师傅

任何领域准入门槛低了之后,最终都会变成这样.