Data Engineer or Machine Learning Engineer

想了解一下，大家对DE 和 MLE的职业发展的看法。 楼主有点想跳槽，投哪个都差不多。因为公司小，DE和MLE不太分。我知道，牛人做哪个到top 1% 都很好。 我想是稳定一点的，行业能稳定到20年后退休的；不幸被lay off，能很快找到下家的；不太容易被后浪拍死；回国方便一点（不必须）；大龄友好；对于非科班出生，非牛人，还算努力。那，那个方向，在薪资，发展，需求。。。方面，比较好呢。

DE 和 MLE都还可以再细分。虽然有些相通，但是需要的技能也还是会有所不同。DE可以偏应用一些，寄托于某个业务产品组，主要利用已有数据平台(私有或cloud），搭建业务相关pipeline. DE也可以偏架构和中台，基本以公司业务相关的DE为客户, 保障平台的可扩展性，灵活性，稳定性等。DE还可以是在某类特定系统上深入开发。比如公司西药特使的OLAP系统，即便是用开源的，也有可能需要根据自己公司的场景，支持一些特色的功能。不同的分类，对技能和基础知识的积累沉淀也不同。
MLE可以完全类比，做出相应的划分。但是不同的是，DE平台的通用性相对较高，而MLE作为中台的普适性会打折扣。需要业务组的认可和上路，并不容易。而落实到业务团队，MLE和DE以及DS到不应该划分的太细。三者之间太多纽带，团队花费太细，不利于团队个人的成长，也会造成不必要的隔阂。

既然楼主想这么仔细，那觉得不管是DE还是MLE, 应该先想好是希望做平台，还是做业务。前者对工程技术的要求更高，on call的可能性也比较大。而后者则依托公司的业务逻辑。各有优缺点。

惊堂木 发表于 2022-03-07 13:35:42
如果在大厂，de和mle会是两个完全完全不同的岗位。de只是负责data pipeline，warehouse，部分数据处理分析。mle一般会是充当调整模型，反馈，协同sde和as职责。

anywa

那是不是感觉mle不是必须 但de需求更大啊

如果在大厂，de和mle会是两个完全完全不同的岗位。de只是负责data pipeline，warehouse，部分数据处理分析。mle一般会是充当调整模型，反馈，协同sde和as职责。

anyway 之前貌似de的活都是sde分担，这几年开始细分，mle的话 真的很看公司重视程度。

anagram 发表于 2022-03-07 21:41:06
那是不是感觉mle不是必须 但de需求更大啊

我感觉取决于公司。有些公司mle就是主流，但是有些公司硬件是主流，比如特斯拉。
de的技术含量也基本取决于公司 工资来看一般低于sde和mle。
建议还是按照自己本身喜好，和之后的机遇吧。两个岗位前景感觉没法比较，技术栈很不同，需求量来看de应该还是很卷的，最近看到好多ds的劝退贴😂 mle的话稍好

惊堂木 发表于 2022-3-7 21:50
我感觉取决于公司。有些公司mle就是主流，但是有些公司硬件是主流，比如特斯拉。
de的技术含量也基本取决 ...

谢谢， 了解。那我再看看，先试试mle吧

mine_that_bird 发表于 2022-3-8 21:54
DE 和 MLE都还可以再细分。虽然有些相通，但是需要的技能也还是会有所不同。DE可以偏应用一些，寄托于某个 ...

非常感谢！可能更希望偏底层的技术一点吧。那我先刷题看看机会好了。