老生常谈了，真心求问 data engineer 和 sde 到底有什么区别

.
1 只要用了spark和hive 就是  data enginner了么？
2 sde 难道不用上这些nosql 数据库？
那用上hbase es ？有很大部分未ready的巨量数据 你需要自己借助hive spark处理好，导入到hbase或者es把，
那不是就是属于干了data enginner的活了？

3  大数据服务开发是不是就是data enginner
4  data engineer 指的是写hive sql 建dag schedule 跑跑pipeline 存到hadoop那种就完事了，不用开发web服务？
5  sde和data enginner到底是什么区别呢， 是不是面向b端的或者说 非c端的 都不是sde？

.
他们之间到底有什么区别  导致impact 不同?

如果DE只是写写job和sql，的确是学不到太多东西，但做SDE如果只是纯写crud业务逻辑不考虑系统优化的话时间久了也是重复工作了。我觉得DE并不是局限于写sql，如果是搭建一个spark或flink数据平台，你要考虑怎么维护cluster保持high availablility，一个节点挂了怎么设计一个failover mecanism，怎么保持数据一致性，data persistence怎么存怎么维护，auto tuning优化并行度等等很多问题，这种分布式系统的经验和SDE设计scalable service的很多理念都是贯通的，title的含金量最后还是取决于你做了什么吧

过来人说一点切实感受:

- 前些年非常火的大数据，由于 Spark2.0 的出现，不再需要写 MapReduce 那样的 syntax, 基本上就没什么门槛了，也看到越来越多外包到印度的情况，毕竟就是写 SQL 嘛， 跟 DBA 差不多， 所以感觉现在趋势基本过去了，这个很明显属于程序员自己革自己命的典型例子，把复杂事情简单化了，就不需要高薪高技术的程序员了 🤷🏻‍♂️ 🤔

下面来回答一些我对问题的个人见解：

"只要用了spark和hive 就是  data enginner了么"
- 是的，现在 data engineering 一般都是写 SQL 基本傻瓜化了

"sde 难道不用上这些nosql 数据库？"
- 一般 SDE 用 NoSQL 用的是 DynamoDB 或者开源的比如 Mongo, Cassandra。 HBase 好像很少听到有人用了. Elasticsearch 一般有 search 需求才用。

"sde和data enginner到底是什么区别呢"
- 一般 DE 只写 SQL (不管是什么形式的，写SparkSQL 也是 SQL) + Workflow (Airflow) + Visualization
- SDE 看情况，有时候是跟 DE 基本上差不多，有时候还需要写 Microservice 做 query engine, 有的还要搭上游的 event router (kafka). 有的还要写一些Self-Service 平台或者工具，这样 DE 和 DS 可以直接用。

(码字不易，求米求米)

Title 取决于你的工作内容

DE 和 SDE 最大的区别我认为是 OLAP vs OLTP

DE 一般只需要接触非实时的离线历史数据 吞吐量大 是为大数据

SDE (backend) 会接触实时低延迟的在线数据 CRUD 每条数据 (payload) 本身不会很大 但是并发数多的情况下 如何在一致性和可用性做 tradeoff

当然目前随着流式计算 (Flink为代表) 的兴起 仅仅在 append-only 业务场景下 DE 和 SDE 并没有很大区别 都是做 pipeline -> indexing -> data serving

de不是sde的一种么。。。de好像很少有做web的，但visualization也算是de一块
sde在我看来更广点，full stack什么的，还有做system，security都是

嘎嘎嘎嘎大魔王 发表于 2020-11-20 05:51
de不是sde的一种么。。。de好像很少有做web的，但visualization也算是de一块
sde在我看来更广点，full sta ...

有些SDE 纯粹写业务的 不是写infrastructure ，或者 特定业务如你所说的security  那他们的impact在于哪里  业务理解么？完成一个又一个feature？

一般说来，SDE 是software development engineer ，是通过设计软件，脚本，系统或者类库来解决任何需要解决的问题。data engineer就细分一点，一般不需要做除了数据获取/整理/分析以外的业务。当然如果你职位是data engineer但是做的是SDE的事情那就另当别论了。

panfeng0007 发表于 2020-11-19 14:17:40
一般说来，SDE 是software development engineer ，是通过设计软件，脚本，系统或者类库来解决任何需要解决的问题。data engineer就细分一点，一般不需要做除了数据

确实，理解了，我是干了部分data engineer的工作

低球 发表于 2020-11-19 14:05:08
Title 取决于你的工作内容

DE 和 SDE 最大的区别我认为是 OLAP vs OLTP

大部分情况下，sde和data engineer没什么区别，只是开头的时候，sde需要设计业务数落模型，抽象方法，oltp比data engineer多点，了解了。

LittleFishBall 发表于 2020-11-19 14:24:14
过来人说一点切实感受:

- 前些年非常火的大数据，由于 Spark2.0 的出现，不再需要写 MapReduce 那样的 syntax, 基本上就没什么门槛了，也看到越来越多外包到印度的情况，毕

确实哦，我自己三分之一工作内容是data engineer，这1/3还是包括扯皮时间，可能简历数据部分写的太多了，导致HR或者面试官看我有时候觉得是de，隐约看不上的样子哈哈，

yanjinbin 发表于 2020-11-20 06:30
确实哦，我自己三分之一工作内容是data engineer，这1/3还是包括扯皮时间，可能简历数据部分写的太多了， ...

最悲催的就是学校学的时候特别爽，什么 mapper, reducer, combiner, partition 还有什么 map reduce design pattern 啥的，学了一套觉得非常爽，技术非常牛逼，然后就是面试造火箭，上班写 SQL... 底层人家 spark API 都帮你写好了....