Machine learning engineer 职业发展选择

我是machine learning platform/infra engineer. 懂的ML理论较少，主要是把ML 过程streamline一下，做成平台（或者说做成一个data/ML product）给公司的DS/MLE来用。
做的内容主要是 feature store, feature serving; model training/tuning platform; model registration and deployment system; model serving service; model monitoring system. 主要是把DS/MLE从这些engineering的东西解放出来，使得他们不用自己去搭data pipeline 生成数据，不用自己装package 来train model，不用自己做系统来serve model，不用自己想办法continuously monitor model，能让他们更focus到modeling本身上去。其实还是SWE+Infra+Data+Basic ML
可能不同的公司不一样。
我自己比较喜欢，主要是觉得每个公司如果要做ML的话，到了一定程度，都需要有这么一套系统，技术比较通用。我个人喜欢的另一个原因是他跟公司的business/product不是直接挂钩，所以不用就着business logic天天吵来吵去（以前在product组，不太擅长非技术性的争论）

我不是太认同“技术栈不会太多更新” 的观点，至少目前来看，我觉得ML platform这个领域还是算比较新，有很多challenge。技术栈的话，都是最新最主流的技术。ML有很多不同的应用场景，有的是offline的，有的是online的，有的是实时training的，有的是batch training的，光feature的就有batch，near-realtime, real-time 这些种类。每一种场景对技术（包括feature，training，serving，monitoring）的要求都很不一样。

asianyoungman 发表于 2021-5-31 04:55
我是machine learning platform/infra engineer. 懂的ML理论较少，主要是把ML 过程streamline一下，做成平 ...

做MLP短期还行，长期AW或者GG的ML ecosystem就解决问题了，如果没有biz domain的知识，对今后去早期的公司不利。像楼主这种2线大厂，MLE的权力更大，做ML infra的算打杂的组

两头都做，两头都精益求精。相应的付出会有相应的回报。

StanleyGY 发表于 2021-05-30 09:32:42
一线大概是Google Brain，deepmind，FAIR可能还有OpenAI。MSR大概一档半。Adobe这种地方基本已经成养老院了，都是烙印。Salesforce是新成立的组，具体什么水平还不

看做啥方向吧 fair和openai基本没人做推荐系统的科研 deepmind也只是套套rl

StanleyGY 发表于 2021-05-30 09:32:42
一线大概是Google Brain，deepmind，FAIR可能还有OpenAI。MSR大概一档半。Adobe这种地方基本已经成养老院了，都是烙印。Salesforce是新成立的组，具体什么水平还不

如果是去这些部门做 research engineer 呢？

StanleyGY 发表于 2021-05-29 23:17:42
关于转research组，目前一线的AI research Lab一只手差不多都能数过来。我不清楚楼主的publication record，但如果去一线的AI research Lab，顶会顶刊的数

想问问层主，ML infra 是做什么的？不是现在都用aws 或者google cloud 做machine learning ? Infra 都给这些公司做了？

asianyoungman 发表于 2021-05-30 13:55:07
我是machine learning platform/infra engineer. 懂的ML理论较少，主要是把ML 过程streamline一下，做成平台（或者说做成一个data/ML produ

想问问层主，现在ML infrastructure 不是都使用aws 或者google cloud, 其他公司还需要自己搭平台？即使现在搭了，以后不是一样要migrate 到这些大型的平台因为它们的价钱和scalability 会越来越好？

maxims23 发表于 2021-05-30 12:03:56
请问下楼主infra都做哪些啊？我们单位aws全家桶，所以我们infra基本就是写写terraform去config资源，然后就是写config设置CICD的job

同样问大佬，现在不是都用aws 吗？还需要infra? 最多就是维护一下？

每只猫都是天使 发表于 2021-05-30 10:44:03
同是mle的进来点赞，最近想进入swe领域

大佬为什么想从MLE 转到swe?

匿名者 发表于 2021-5-31 10:55
同样问大佬，现在不是都用aws 吗？还需要infra? 最多就是维护一下？

不是大佬，就是调参侠😅对我们就是aws全家桶，infra就是去plan一些aws资源比如ecs，alb，网络之类的。当我们做一个ml service的时候这些资源都是自己建立的，单位有platform team会监督你如果capacity超标了会alert。