请问走de/ml infra那条路更有前景呢？

最近在跳槽，主要接触了两类岗位，ml infra，sde-data (data engineer)，都挺感兴趣的，想听听大家对这两条路的想法。
我先说下我的理解：

从职责角度
两者都是sde的分支，ml infra 侧重于build ML system,基本就是deploy model，ml pipeline之类的活，不多涉及research，需要对ml 一定的了解但是不需要很深的数学推理。有时候可能会做一些data pipeline
de可能就完全另一套系统了，不设计ML的部分，主要做data ingestion，data pipeline，类似ETL之类的活。当然也有可能公司的de做ml。


个人兴趣
我本身对高深的ml model不是很感兴趣，主要觉得太难了哈哈哈，再加上现在的工作基本是做ml pipeline，也比较喜欢做这类工作，所以不排斥做ml infra。
但是我的担忧是（也可能是实在不了解），这条路会不会太窄了，MLOps确实还挺重要的，但是也分组，如果system本身比较成熟了，是不是比较难继续做新的有意思的项目？
目前工作的瓶颈就在于，框架搭好了，就改改就行了，维护维护，重复性的比较多，有点无聊？

可能因为做过一个小型etl工作，所以也拿到了些de的面试，感觉和现在做的就完全不同了，涉及到很多对数据的处理和pipeline监控。但是个人对spark，hadoop，airflow之类的工具还挺感兴趣的，
不知道是不是可以入坑体验下。

面试角度
面试考察的也不一样，除了coding， ml infra可能需要考ml design+system design，而de就是要考data architect design和system design等，更侧重于大数据方面。


另外感觉大公司的sde ml infra岗位bar更加高，很看重经验，好多都4/5+起；而且有些挺要求backend的背景的。可能从general sde开始更好。所以基本也没有拿到大公司的ml infra岗


我没有看到很多对于两方面一起比较的讨论，所以想请问下大家：
- 从职位角度来看，DE的需求量远大于 ml infra，ml infra真的太少了。。。所以是不是可以说de的前景更好呢？这个肯定不严谨，但是需求量说明一定的问题？
- sde-data和de是不是类似的岗位呢？看到很多做data infra，和de是否类同呢？
- 两者的互换性高吗？假设做一段时间的de，再想转作ml infra，是否可行？这次跳槽发现这两个岗位挺看中经验的，如果有相关的项目经验，很加分。
- 之前Andrew的视频说业界对于data quality的关注太少了，是否能说明de的重要性会越来越高？


看了一些对于de和ml infra的帖子，感觉两个都是容易做到机械性和重复性的工作，特别是ml infra的impact可能没那么高，也有些人就转码了。求大家的建议！！谢谢

个人看法, 欢迎讨论: 做ml infra好, 这个领域值得深耕.  ml infra还不成熟, 可以做的东西很多. 你进去往往能拿到scope大很多的project, 上升空间大. 等以后ml infra发展更成熟了, 比如各大cloud vendor有更多ml infra为基础的service后, 你也可以跳过去. 而且做ml infra的engineer本质上还是SDE. 如果以后出现了新的domain x, 你也可以转型过去做x infra. 相对的, DE的上升空间可能有限. 想想十几二十年前, DE可能还叫DB admin, 专门tune performance, 现在这类职位都快绝迹了. 至于Andrew Ng强调data quality, 那也明显是在强调在mlops里管控data quality.

Ada2015 发表于 2021-4-15 12:08
请问ML engineer和ML infra的区别是什么呐

我认为ML engineer和ML infra基本就是两个职位吧. 前者在用现成的ML infra来做ML pipeline等工作(当然肯定也有ML engineer会去写少量ML infra code), 后者是SDE, 写ML infra systems给别人用.

qinshimingyue 发表于 2021-04-14 21:13:45
我感觉市面上的mle还是偏重于做模型，research为主，当然也可能要负责模型落地；但是ml infra更加侧重于整个系统，比如model version control， ml piprline之

多谢分享～～

ML engineer真的很难招。

且吃俺老孙一棒 发表于 2021-04-14 21:05:05
ML engineer真的很难招。

请问ML engineer和ML infra的区别是什么呐

Ada2015 发表于 2021-4-15 12:08
请问ML engineer和ML infra的区别是什么呐

我感觉市面上的mle还是偏重于做模型，research为主，当然也可能要负责模型落地；但是ml infra更加侧重于整个系统，比如model version control， ml piprline之类的，一个统一的平台可以让所有不同的项目共用。

且吃俺老孙一棒 发表于 2021-4-15 12:05
ML engineer真的很难招。

能具体说说吗？是因为bar比较高符合的人比较少吗。。从面试者的角度看，mle也是最难的（是我菜）

bruceless 发表于 2021-4-15 12:09
个人看法, 欢迎讨论: 做ml infra好, 这个领域值得深耕.  ml infra还不成熟, 可以做的东西很多. 你进去往往 ...

我也感觉mlops水挺深的，而且大公司小公司都是有一定需求。我也同意ml infra更偏sde，挺看中sde的能力的。scope大我也同意，但是不喜欢的点就是，很多时候自己造轮子，也不知道对不对，毕竟要做系统，还是要求经验和能力的。

qinshimingyue 发表于 2021-4-15 12:17
我也感觉mlops水挺深的，而且大公司小公司都是有一定需求。我也同意ml infra更偏sde，挺看中sde的能力的 ...

做系统的经验就是从造轮子里积累的吧. 如果真要做systems, 巴不得有造轮子的机会, 否则光调用其他API, 很容易做成config engineer. 当然如果你指的是自己一个人闭门造车, 那确实挺难. 去个好的infra组, 一般会有一堆大佬坐镇的. 比如各大厂就都多多少少做这种feature store的轮子: https://eng.lyft.com/ml-feature- ... t-lyft-d30bf2d3c32a, 因为市面上还没一个成熟的solution

bruceless 发表于 2021-4-15 12:20
做系统的经验就是从造轮子里积累的吧. 如果真要做systems, 巴不得有造轮子的机会, 否则光调用其他API, 很 ...

嗯嗯嗯是的，一个人造轮子太难了，也是想跳到一个好的infra组，不过这种组bar都蛮高的哈哈。不知道从general sde转去做ml infra容不容易？