有多少SDE 做了Data engineer的？

有多少SDE 做了Data engineer的？  
还有做infrastructure， 可以说说工作的内容和区别吗？

我做的挺开心的，有impact，学到的东西也很多。一个公司的数据量越大，实时性要求越高，dataset数量越多，能做的有意思的东西就会越多。DE也有很多创新的空间啊，Airbnb搞Airflow也就这几年的事情，那边Lyft还有个项目叫Amundsen，Databricks有MLflow，这其实都是DE的范畴。

另外一个有意思的事情是（至少在我这儿是这样）做DE对一些ML项目的影响甚至比以前做ML Engineer时候更高，一个ML项目其实80%都是关于Data、Serving以及搭建系统化的model management系统，还有monitoring，真正core model training其实只是一小部分，很多时候数据量不够的情况下，再fancy的model其实影响都有限，这也是我不喜欢做纯DS的原因。

感觉这个data engineer工作很没有成就感。重复性高，而且随机产生的活比较多，活都不大不难
不知道其他做data engineer的人怎么样。。。

工作感兴趣最重要吧。有的人觉得无聊的事，有的人做的特别开心。我工作只有不到一年，一直在搞big data。data engineer可以说是为DS，DA，BI服务。这是比较general的说法。每个公司不一样。具体有Data infra， data platform。和data engineer。从写Java，maven，unit test到architecture design再到python sql ETL。对着岗位就好了。我现在做nifi，kafka，flume。马上跳槽就去写sql，搞ML了。有机会就尝试。主要现在公司印度人太多，且有不少腹黑。很好猜了。至于薪资待遇就更是差别巨大了

我很困惑，觉得现在自己做的东西太杂乱了

我，每天就是pipeline airflow，然后发现data是最蛋疼的

data engineer是干嘛的，天天在各个储存介质间倒数据吗？比如sql倒入hdfs?

talentednew 发表于 2018-8-23 03:44
我，每天就是pipeline airflow，然后发现data是最蛋疼的

可是pipeline就那么几种，代码重复的很多， 调用API， ETL数据，感觉挺枯燥的

有重复就自动化
从de往上是data infra
做好了是大大牛

还有一个办法是ML eng
反正做ML的80%时间也在弄data

小K 发表于 2018-9-19 16:22
有重复就自动化
从de往上是data infra
做好了是大大牛

现在职位方向就是data infrastructure。 可是我还是没有明白这有什么空间，还要做些什么。我们现在用内部现成的大数据平台，也有现成的数据流工具，而我现在除了写datapipeline，处理log数据，画一些图表，剩余的就是做一些数据质量，ETL job，ticket之类的监控软件的开发，实际上简单的业务逻辑加CRUD，该怎么办呢？