数据工程师big data常用知识点总结

谢谢分享，mark了!

感谢分享！

感谢楼主分享

非常感谢分享。

马克 zszszszs

qinshimingyue 发表于 2021-5-11 11:23
感谢分享，之前对de有点朦朦胧胧的兴趣，面试后才大致对这个岗位有了理解，请问楼主觉得de这个岗位如何？ca ...

de主要就是建pipeline吧，对系统设计要求比较高，各种ETL工具都要了解，算法要求比较低。career path和sde是分开的，一般和数据团队合作多，有的就直接在数据组下面，经验多了还是去大公司有单独的de团队可以带。

楼主您好，非常感谢分享。想问一下日常工作，一般建Pipeline这个事儿是DE主导/Lead吗？还是说是别人提需求会比较多。谢谢！

来我收藏夹吃灰吧

来我收藏吃灰加1

koupayio 发表于 2021-05-11 19:42:05
请教一下
以前是MS SQL DBA
目前想转云Data Engineer

这是一个非常好的问题。我在一家小独角兽做de，最近公司准备上市急需招人，近半年来基本每周都有面试，但一直没有招到我们想要的人。首先我觉得de在各家公司的要求都不太一样。有些公司就只需要处理一些adhoc的报表什么的，或者是大一点的公司都有比较完善的组织结构，de做的事很单纯。但像我们就要求啥都能干。从获取数据，建立pipeline，到维护独立的infrastructure。 我们的某一个clickstream data 每天就 30-50 M rows。 处理这样数据的经验是很难从练习中获得的。一方面我经常看到有很多人想转data 相关的工作，一方面我们又找不到想要的人。作为一个过来人，我必须承认这些经验是需要时间培养的，但公司现在的情况是连培训的精力都没有。



补充内容 (2021-05-12 12:06 +08:00):
感觉自己的上个回复不一定能帮到你，但好像也删除不了。我稍微补充一下，我觉得可以从两个角度思考这个问题 一方面可以加强其他方面的技能比如SQL， 另一方面可以在练习pipeline/或者思考问题的时候想一下如果这个data size 特别大怎么办。举一个在我们的面试中很常见的问题。我们的主要语言是python， 主要的ETL tool 是airflow，我们经常会要求写一个简单的pipeline很多面试者会通过pandas 实现一些data transformation。可是大多数人不会想到pandas可以处理一两百行的数据，但是如果我的dataset是几百万行，pandas还是好的选择吗？