非科班投稿NIPS小经验分享

自己本科计算数学背景，当年学校表现优异，一度准备去香港读OR/CS PhD。结果因为各种原因到本科毕业后反而去了BAT做了几年伪码农。本科视野有限，且小本去企业基本在公司做的都是扫地清灰的活（🐮本科生莫鄙视👎🏻），非常不得意。看到公司那些搞机器学习的人火箭晋升，因此咬了咬牙在26岁辞职读书去了。PS： 自己三年薪水翻了快三倍，其实做的虽然边缘但也还可以。因此很多人会觉得早工作早好。但很多人不知道的是，早期级别是混年头脸熟就好的。但后面完全是拼项目，实力和运气了。小本学的那些杀鸡工具和大家没有显著差异的编程让你职场很快瓶颈，然后大部分人是走不出去的。

当时感觉机器学习这个领域没啥意思，就选了应用数学研究生继续读。没想到，本科那点数学自信外加工作忘了很多，到研究生被虐到爆。选应用数学一方面也是因为过去Quant是我们第一企业去向，但美国近些年Quant不景气，基金fresh grad也不好去。学了一年基础课后又转了机器学习方向。还好老师们都还有热情，加上认识的朋友建议靠谱。就沿着他们的路边看paper边上课。数学核心课外再修了数理统计，随机过程，monte 计算，bayesian data analysis, data mining, ML等课防止知识盲点（有些时候不上课固然可行，但是自学有些时候还是容易错过重点）。大方向是通过一个发过很多NIPS ICML老师的final project学到的。感觉此办法非常有拓展性，建议学弟学妹可以考虑复制。

大方向选了，只是个开始。后面各种坑慢慢介绍。

觉得不错可以撒点米，好支持大哥我继续写。

相信不少人看过李沐写的《博士这五年》和《陈天奇：机器学习科研的十年》。他们俩都算是文渊大神的学弟。笔者当年工位就坐文渊附近，做的是support 组的分析工作，自然是没有impact公司不关注。笔者虽然没有天赋，但对自己在公司的定位还是清楚的很。人家做的改进对公司影响很大，文渊的很多小弟都从T4/5到T8 （吴恩达T11）。闲组听起来会变清闲，但每到年底各种政治换血不断，底层员工其实很无力。当年曾经以为换组了就会好些，结果一入新组就被换血。而后总结小兵无力，决心出国。

反思：辞职读书看起来美好，个中艰辛不可知。其实也许不必这么辛苦：模型组（文渊大神所在组）的经理明升暗降到我们组。他和文渊一起创建了凤巢却被公司下放，脾气自然不太好。而我当时想到的却只是远远离开这个组，却不会利用资源。如果笔者想清楚如何迎合经理，取得信任，自己后天再多学习对应的知识，争取调到模型组从粗活做起无疑不是最优的选择。7年过去了。自己看了同事跳来跳去，有好有坏。跳槽涨薪看似神速，对于技术的提升却有限的很。

补充内容 (2020-6-23 21:22):
我那位老板刚离职了他创业的在线教育公司，他的身价...现在足足N亿美元了，但是还是佩服老板的成绩。果真一句话，国内的上界是真的高。

补充内容 (2024-01-18 08:49 +08:00):

时过境迁，几年后发现在线教育在国内被团灭了....越来越看不懂了。

liu夜尽天明 发表于 2019-9-14 03:23
lz可否分享一下发了几篇NeurIPS, 几篇ICML， 几篇ICLR？

楼主只发了一篇NeurIPS, 而且也是一般的文章。

补充内容 (2020-6-23 21:24):
又有一篇一作ICML了^^，有了第一次经验，现在果然快了很多。虽然中不了顶刊(比JMLR更好的那种)，似乎也没那么重要。

补充内容 (2020-9-27 01:53):
再中第二篇一作NeurIPS 。Thesis终于可以写成一个故事了。

补充内容 (2020-10-22 03:14):
再中一篇A类一作。

补充内容 (2021-1-14 07:45):
继续补一篇一作ICLR

补充内容 (2022-01-31 05:08 +8:00):
一篇三作NeurIPS

补充内容 (2022-01-31 05:08 +8:00):
再来一篇一作ICLR 2022

楼主已毕业。

补充内容 (2023-03-03 02:16 +8:00):
补一篇AAAI 2023

楼主你好，谢谢你的分享！非常有用，我也是本科数学，研究生转了CS，现在在某大厂做 data scientist, 实际工作内容比较像ML engineer吧。工作上接触phd比较多之后，发现思维方式思考深度还是落后不少，对于ML/DL模型和部分应用领域（比如游戏行业的用户行为建模）希望也能深入探究，但是现在感觉自己看paper的方法都有些不对。现在在考虑能否就近去读part time phd。可以请教两个问题么？ 1. 沿着楼主的路，上这些课 + 读paper，可以实现提高研究能力，ML模型改进的能力么？ 2. 楼主觉得一天最多只有5～6小时投入到研究，对于搞科研是不是太少了啊QAQ

PS：楼主如果对于工业界的scientist有兴趣欢迎联系，之前已经介绍了几个phd同学去做实习。

我的经验可能只适合机器学习里面的算法派：半理论+半实验。事后想来，幸运的是选了贝叶斯这门很花时间但收获很大的课。但弯路也有：一者：数学系很多对ML没有用的qual花了不少精力；二者：一些课对于ML没有太大用处。如果时间能退回，会希望自己能重新系统的学习概率论1，概率论2，随机过程。这三门课的重要性我不再赘述。就像找工作需要Leetcode一样，概率论的基础不刷题还是难练起来。选了这么多课，思维变得发散以及会选应用的topic（不一定是优点）。但理论不过硬，做实验也不拔尖便成了劣势。如果你现在是未来打算去业界的PHD，刷kaggle攒名次+Leetcode练编程感觉也足够了。毕竟research又耗精力风险也大。

想了想还是止步于此，不再误导学弟学妹了。

楼主可以展开来讲一讲嘛 不可能是误导的  :D

请楼主再多介绍一些经验吧，比如如何上手做科研，项目等等

jimyoung 发表于 2019-9-9 12:58
请楼主再多介绍一些经验吧，比如如何上手做科研，项目等等

1. 科研大topic比较重要。总结来说：前景+兴趣+适合， 三者缺一不可，所需的度因人而异。没有前景的方向很多，行业需求决定了你科研做的好但没到顶尖也找不到工作，最终仍要转行，比如纯数学，艺术等等。这些领域需要天赋 & 兴趣 & 富有 & 有时间 的人搞，你深陷其中只会浪费时间；有前景适也适合的方向但没兴趣，你都不会有持之以恒的动力，自然也搞不下去；有前景有兴趣的方向，你不fit肯定也不行。人家需要多很多编程，你恰巧不会是没有意义的。
2. 对于大部分学科实验都是要做好的，尤其是ML领域。计算机里讲state of the art。学生想要卖算法，17年计算设备成熟以前，MNIST跑个好结果，方法论言之有理文章即可卖出，但是现在CIFAR-10可能都快不够用了。所以跑实验之前肯定要对目标dataset有足够多的了解。起码看懂别人为啥能跑出来state-of-the-art。然后再卖自己的算法。机器学习领域要多跟圈子里面的人交流，学习一些趋势、方法论。至于基础，默认是需要前两年就掌握的。后面就对自己感兴趣的领域光看paper吧。当你看完某个研究方向的50-100篇文章后，比如10+篇理论的精读，其他的泛读。你就基本知道你可以通过什么contribution发出来什么paper了。

补充内容 (2019-12-6 12:37):
收回自己偏激的"纯数 找不到工作仍要转行这话", 对于有勇气/抱负/专注/坚持的纯数学家，只能仰望了。哪怕他的薪水只有别人的10分之一，或者falculty去的学校一般。

搬好小板凳，坐好

greyman 发表于 2019-9-5 09:04
我的经验可能只适合机器学习里面的算法派：半理论+半实验。事后想来，幸运的是选了贝叶斯这门很花时间但收 ...

随机过程也需要学的吗？另外optimization感觉也很重要啊

坏坏哒 发表于 2019-9-10 00:24
随机过程也需要学的吗？另外optimization感觉也很重要啊

我个人也做non-convex optimization。但是感觉传统优化已经很成熟了。很多学校优化都在工程系，而非数学系。最后多是和并行，具体行业结合做一做，挺工程的，数学理论能做出改进的不多。non-convex倒是热点，但数学用的都不是传统优化那些套路，而是概率论和随机过程了。

优化的确也重要，还是值得上一门convex optimization/analysis，拿Boyd的那本入个门了解优化的套路就好了。

坏坏哒 发表于 2019-9-10 00:18
搬好小板凳，坐好

可以来点米鼓励下，😄。我也搬个小板凳一起聊天。