有多少SDE 做了Data engineer的？

pandaman4491 发表于 2019-5-23 09:24
楼主现在情况怎么样？同DE职位，也是感觉做的事情很杂，满足各种DA, DS的需求。

积极刷题中，你懂的

ygmm 发表于 2019-5-24 12:04
积极刷题中，你懂的

加油加油 刷题才是王道

Data Engineer没有domain就缺乏ownership，会很枯燥也看不到啥成果。有了domain就不一样了，如果你DE能做到domain data门儿清，对data lineage，上游系统数据的各种caveats了解深入，那你对公司的价值就大大增加，很多时候几乎是不可或缺。

如果贵司的data还很杂乱，经常需要做很多adhoc的pipeline来回答一些基本的问题，说明发挥空间还很大。

data engineer可以做的事儿很多，data infra的部分不谈，只谈warehouse部分的话比如：

1.  Topline metrics. 公司所有重要metric的end to end的实现都由DE来完成和维护。这个scope, tech complexity, 在领导层的visibility都很大

2. Core tables. 这个属于data governance的范畴。Own所有的核心fact table和dimension table

Infra部分做的事就更多了

pandaman4491 发表于 2019-5-23 09:24
楼主现在情况怎么样？同DE职位，也是感觉做的事情很杂，满足各种DA, DS的需求。

这种需求一般say no. 做一些long term的project

幻影奇袭 发表于 2019-6-2 08:53
这种需求一般say no. 做一些long term的project

领导直接给分配的任务，没那么容易say no啊

financial领域的data engineer如何呢？
就是很懂finance domain，也懂tech

幻影奇袭 发表于 2019-6-1 18:35
如果贵司的data还很杂乱，经常需要做很多adhoc的pipeline来回答一些基本的问题，说明发挥空间还很大。

d ...

非常赞同 不是很了解DE 不过我现在的实习就在infra组 最近入职学习组里的项目感觉还是蛮有意思的 很多人会觉得infra枯燥 重复性强 但不同公司在不同的发展阶段 infra扮演的角色也不一样 如果公司正处于急速扩张时期 那infra其实有很多很多high impacts的projects可以做 而且我觉得哪怕以后要转型做设计产品的SDE 对infra有深刻的了解也会很有帮助吧

david.fang 发表于 2018-10-27 01:17
工作感兴趣最重要吧。有的人觉得无聊的事，有的人做的特别开心。我工作只有不到一年，一直在搞big data。da ...

弱弱的问一下您在哪里工作呢？

我做的挺开心的，有impact，学到的东西也很多。一个公司的数据量越大，实时性要求越高，dataset数量越多，能做的有意思的东西就会越多。DE也有很多创新的空间啊，Airbnb搞Airflow也就这几年的事情，那边Lyft还有个项目叫Amundsen，Databricks有MLflow，这其实都是DE的范畴。

另外一个有意思的事情是（至少在我这儿是这样）做DE对一些ML项目的影响甚至比以前做ML Engineer时候更高，一个ML项目其实80%都是关于Data、Serving以及搭建系统化的model management系统，还有monitoring，真正core model training其实只是一小部分，很多时候数据量不够的情况下，再fancy的model其实影响都有限，这也是我不喜欢做纯DS的原因。