MLE具体是做什么？比SWE工资高吗？

看越来越多面经，抖包袱都说是MLE，没有接触过这个，想问一下大家这个具体是做什么工作？工资会比普通的developer，engineer高吗？
想转过去做MLE，有什么先决条件吗？

cleverley 发表于 2021-3-31 04:22
感谢回复。能不能具体说一说，做data相关是指什么？
搜集data？存到数据库？model building是指啥？我原 ...

以下是我自己的个人理解:

关于data的方方面面吧. 用来train model的data, 不一定是clean的, 那么MLE就需要clean, 或者做一些feature enginering. data的种类也是各种各样. 注意这里是在data pipeline里, 所以不像在学校里, 只有一个dataset, 全部读到memory里就行. 然后存用data也是问题, online和offline用的data会发生drift等等.

model building其实并不见得需要phd, 如果有很成熟的model, 可以拿来用, 也并不需要怎么调. 比如xgboost, 用的还是挺多的. 如果是需要自己build model的组, 确实一般会是phd在调优, 但是说实在的, phd施展的机会也有限, 很少会真正build a ML model from scratch. 相对的, 很多人调来调去, 发现问题还是出现在data quality上, 最后又去处理data problem了.

Google这篇paper有讨论到这个问题: https://research.google/pubs/pub49953/. 和几个在做MLE的同学交流, 也是感慨大多数时间都花在data上了.

这个问题不可能有统一的回答。MLE的职责，不同公司，同一家公司不同org，同一个org不同组，都可能有质的区别。

有的偏向研究，和scientist title互用。

有的做各种深度学习模型，做所谓的AI。

有的做硬件优化，大规模计算，并行计算。

有的搭建数据平台，搭建inference service，维护production中的模型。

有的以上都做。

最后，是的，MLE往往工资在同级别IC里有优势。

根据不同公司具体的jd分为三大类。
第一类跟DS很像，或者说就是一个东西，要求基本是math/stat/cs的phd，主要工作是算法研究和模型优化，偏向research。
第二类是DA+ML。平时大部分时间可能在清洗数据集，剩余时间在调参。
第三类是DE+SDE。也就是SQL+后端，搭建和维护云服务之类的。

具体的工资也差别很大，个人感觉除了第一类，剩下两类工资不如SDE和SWE。

个人浅薄的认知: MLE大多数时间在处理data相关的问题(80%), 剩下时间(20%)在做model building和deployment. 工资高低看需求, 现在ML市场还比较热, 所以工资会高一些(大概?)

bruceless 发表于 2021-3-31 01:41
个人浅薄的认知: MLE大多数时间在处理data相关的问题(80%), 剩下时间(20%)在做model building和deployment. ...

感谢回复。能不能具体说一说，做data相关是指什么？
搜集data？存到数据库？model building是指啥？我原来学校里学ml，大多数就是用已有的库，自己调参数，不知道业界具体是做什么。感觉很多具体的算法，调优，需要phd来做吧？

很多mle在大公司叫applied scientist或者其他名字。。工资差不多吧我觉得平均会高一点因为入门门槛高很多都是phd起步、面试不光要会刷题还要数学的额外知识、、每个公司要求都不一样，不能一概而论

先考虑适不适合你做，能不能做得了，在考虑工资是不是高一点把。。。。