老生常谈了，真心求问 data engineer 和 sde 到底有什么区别

扩展你的技术栈 不要把自己局限了就好 根据需求学技术 保证自己能趟平各种learning curve就好 那你就是sde了 需要你做de时你就能做 反过来如果你只能做de的活 那你就在一个low level上了

DE这个工种以前叫ETL，主要是用工具处理数据。比SDE来说，开发的工作要少很多。

LittleFishBall 发表于 2020-11-20 06:34
最悲催的就是学校学的时候特别爽，什么 mapper, reducer, combiner, partition 还有什么 map reduce desi ...

我就是纯好奇  因为以前项目组有人不用big data 用mysql处理聚合数据 经常性线上事故 而且都跟资金有关 然后我就那么想 做做big data 难道就那么低级么？ 我看别人写的web服务还经常性bug呢
现在 我理解了，写web服务  别人还不好替代你  写Big data  ,sql梭哈一把 就完事了 还好维护 2333

哪个职位工资更高呢？？
个人感觉SDE的技术性比DE的强一些，路也比较广。

guaneyu 发表于 2020-11-20 16:04
哪个职位工资更高呢？？
个人感觉SDE的技术性比DE的强一些，路也比较广。

sde impact更好吧  好奇coupang 美帝分部 咋样了？

产品面来看， 我司把DE和Architech 摆在类似的类别
DE建data pipeline
关键字就ETL，Data lake 和 data virtualization (不是visualization)
DE跟DS合作蛮多的，有些公司会DS兼职DE

如果DE只是写写job和sql，的确是学不到太多东西，但做SDE如果只是纯写crud业务逻辑不考虑系统优化的话时间久了也是重复工作了。我觉得DE并不是局限于写sql，如果是搭建一个spark或flink数据平台，你要考虑怎么维护cluster保持high availablility，一个节点挂了怎么设计一个failover mecanism，怎么保持数据一致性，data persistence怎么存怎么维护，auto tuning优化并行度等等很多问题，这种分布式系统的经验和SDE设计scalable service的很多理念都是贯通的，title的含金量最后还是取决于你做了什么吧

yanjinbin 发表于 2020-11-20 01:00:54
sde impact更好吧  好奇coupang 美帝分部 咋样了？

哎呀😂给你说了不是酷胖

yanjinbin 发表于 2020-11-20 15:59
我就是纯好奇  因为以前项目组有人不用big data 用mysql处理聚合数据 经常性线上事故 而且都跟资金有关  ...

Big data 其实也不好维护的.. 数据出错，数据没及时到，还有下游要改需求，这些都特别麻烦的

yanjinbin 发表于 2020-11-19 13:57:11
有些SDE 纯粹写业务的 不是写infrastructure ，或者 特定业务如你所说的security  那他们的impact在于哪里  业务理解么？完成一个又一个feature？

所有的sde都是完成一个一个feature，只是完成feature的领域不一样。
我不是security组，我们会因为我们的业务需求调用他们部分的service，但是他们的service不只我们一块。
你得找做security的人问他们的impact和feature。

就标题问题来说，你已经明白了做infra的sde和光处理data的sde是不一样的了