Machine learning engineer 职业发展选择

楼主背景简介: EE PhD + 2年经验，在二线大厂做推荐系统machine learning engineer.
日常工作模型训练和ML infra都有涉及，现在纠结今后具体往哪个方向发展？
1. 主攻模型，争取找机会转入research组研究DL前沿模型。
Pros: paper多简历好看，听说research部门包裹比一般engineer组大？
Cons: research路窄，基本没机会进hot startup?

2.主攻infra，把代码本事练强
Pros: 日后争取进hot startup脱贫
Cons: 做N年简历也差不多, 技术栈不会太多更新？

3. 维持现在这样两头都沾点，以后见机行事
Pros: 机会多，两头都能试
Cons：两边都做不精

希望各位大神多指点，谢谢！

关于转research组，目前一线的AI research Lab一只手差不多都能数过来。我不清楚楼主的publication record，但如果去一线的AI research Lab，顶会顶刊的数量至少得过两位数，还需要有牛推。最近这两年这些地方人多坑少，所以进去并不容易。至少得有在美国50名左右学校拿到ML方向ap面试的实力。那些二三线公司的research team去了也没啥意思，等于career suiside，个人不推荐。因为research本质上是混圈子，不进那种一线公司大佬的圈子，以后找工作回非常难。

关于ML infra，这个基本上就是SWE的track。对系统设计以及分布式这块需要有一些积累，可能还需要懂一些database。这块其实和普通软件工程师职业发展路径差不太多，最多就是需要学一些ML。

还有最后说一句，如果楼主只想通过进hot startup实现财富自由，八成会失望。有些事情不是deterministic process，进hot startup和实现脱贫没有必然联系。

匿名用户 发表于 2021-05-30 05:43:31
一线：google brain, FAIR, MSR, Deepmind。Amazon和Apple没有单独的纯research lab。Adobe research和salesforce resear

一线大概是Google Brain，deepmind，FAIR可能还有OpenAI。MSR大概一档半。Adobe这种地方基本已经成养老院了，都是烙印。Salesforce是新成立的组，具体什么水平还不清楚。其他的比如Amazon和Apple没有纯AI Lab。Visa也有research但具体什么人在那边不清楚。论bar的话Google brain和FAIR这种这1-2年没怎么大规模招聘全职researcher，而且你可以看看进去的人的profile，基本都是一堆顶会论文+ 牛导+ 有best paper。Deepmind很多人在英国估计relocate不大容易，而且和谷歌本部的矛盾很大以后前景不好说。至于MSR，从那边出来含金量肯定是不如前面那三家，而且那边现在也在逐渐向产品组靠拢，加上待遇的问题，大佬们很多跳槽走了

我是machine learning platform/infra engineer. 懂的ML理论较少，主要是把ML 过程streamline一下，做成平台（或者说做成一个data/ML product）给公司的DS/MLE来用。
做的内容主要是 feature store, feature serving; model training/tuning platform; model registration and deployment system; model serving service; model monitoring system. 主要是把DS/MLE从这些engineering的东西解放出来，使得他们不用自己去搭data pipeline 生成数据，不用自己装package 来train model，不用自己做系统来serve model，不用自己想办法continuously monitor model，能让他们更focus到modeling本身上去。其实还是SWE+Infra+Data+Basic ML
可能不同的公司不一样。
我自己比较喜欢，主要是觉得每个公司如果要做ML的话，到了一定程度，都需要有这么一套系统，技术比较通用。我个人喜欢的另一个原因是他跟公司的business/product不是直接挂钩，所以不用就着business logic天天吵来吵去（以前在product组，不太擅长非技术性的争论）

我不是太认同“技术栈不会太多更新” 的观点，至少目前来看，我觉得ML platform这个领域还是算比较新，有很多challenge。技术栈的话，都是最新最主流的技术。ML有很多不同的应用场景，有的是offline的，有的是online的，有的是实时training的，有的是batch training的，光feature的就有batch，near-realtime, real-time 这些种类。每一种场景对技术（包括feature，training，serving，monitoring）的要求都很不一样。

我在麻厂某science组做l6 sde

1.就我们组招l5的as的bar来看，现在基本能过简历关的，顶会的paper起码在phd期间要有个3-4篇。然后这些as大多数时候并没有做什么所谓dl research前沿的东西，大多数work是根据data对于已有的模型做点儿增减。dl research的前沿也是一个不大严肃的说法，这个东西的上限和你的组的capex挂钩，没有计算资源，不用谈前沿。能给你大量计算资源试错的组，屈指可数，brain和fair也不见得就能够为所欲为。特别是现在整个ml业界的投资有所降温，capex卡得就更紧。

2.做infra的mle。说实话，这个我觉得深度也有限。aws的sagemaker那一套东西，长远来看会一直和mle工程师们抢饭碗，能抽象和复用的，最终都会做到产品里面去。除非公司有很强的vendor lock-in的concern，如果price in aws的话，自己造一套这种pipeline的效益不会很高。

ml整个end2end的pipeline里面，精华其实在data creation/data qa和inference加速这两块，前者根据任务的不同，对于tooling的定制化要求很高，需要领域知识，抽象成本高收益低；后者和硬件紧贴，接近底层，门槛较高。中间这些layer，长久来看，我觉得并不会维持特别高的溢价，最后会回归普通data engineer的工资水平。

首先要看你自己想往research还是想往engineering发展啊，以及你将来对自己的职业规划和人生目标啊。

匿名用户 发表于 2021-05-29 22:55:10
首先要看你自己想往research还是想往engineering发展啊，以及你将来对自己的职业规划和人生目标啊。

楼主对research更感兴趣，但希望前提是脱贫.忘了说坐标湾区, 生存压力特别大...

如果自己把多挣钱看得很重要，那就等财富自由后再去做research吧，否则做research也难以全身心投入

匿名用户 发表于 2021-05-29 23:04:51
楼主对research更感兴趣，但希望前提是脱贫.忘了说坐标湾区, 生存压力特别大...

那就去做research scientist啊，脱贫应该问题不大

想多了，AI research group的bar堪比一些学校的cs tenure professor了，FAIR这种地方十多篇顶会的也只能先来做个postdoc！如果不是顶校 + 非常strong的connection + 圈内小有名气，基本机会渺茫！

这种AI research的机会从来不是你选它，而是它在挑你！

StanleyGY 发表于 2021-5-30 14:17
关于转research组，目前一线的AI research Lab一只手差不多都能数过来。我不清楚楼主的publication record ...

什么才算是一线research lab呀，我知道google brain，fair，msr这种肯定算。

那比如adobe research，salesforce research，amazon AI，IBM research算二线吗？所以不太建议去这种地方？

除了这两种，还有做应用的MLE啊，比如去Youtube做推荐系统这种，楼主不感兴趣吗？不过这种和SWE也差不多了，但domain是ML，也会经常试验不同模型，就是不太会发paper，也不一定要用最前沿的方法。

匿名者 发表于 2021-5-30 16:52
什么才算是一线research lab呀，我知道google brain，fair，msr这种肯定算。

那比如adobe research，s ...

一线：google brain, FAIR, MSR, Deepmind。Amazon和Apple没有单独的纯research lab。Adobe research和salesforce research算二线吧（因为规模）？剩下就是挂着research其实做产品。