Data Engineer找工作面试的一些总结和碎碎念

楼主最近在尝试跳槽到更tech的公司做Data Engineer，从论坛上得到了很多帮助。现在分享一些我的心得和怨念，希望能造福大家顺便求些大米嘿嘿。我自己也是个小**，在摸索，希望大家轻喷，有问题我就马上更正~~地里的Data Engineer其实还真是挺少的，内推少，面试经验也少。DE也确实和码农的一些职位是有一些定位不一样的。首先和DE最对口的可能就是information system management了，然后就是CS和data secients。 CS就不说了，能申请SDE之类的是绝对不会考虑DE的，information system也都是在尽可能的往SDE转，而DS也不会没事闲的去做DE这种dirty work的。 所以说DE的职位其实还是不少的。而DE相对冷门的原因我觉得有三点：

• 这个职位entry level很少，大部分公司喜欢招有1，2年经验的人。（我就曾经面过一个公司entry level 要研究生毕业外加2年工作经验。。。。然后给的很少。。。。。。。。。）而且FLAG里面只有F和A有一些DE，而像UBER,AIRBNB基本就是SDE在做DE的活了。。
• 要求会的东西比较杂，因为公司各自大数据系统不同，要的也不一样。
• 工资相对以上2个点的要求来说我个人感觉还是比较少的。要是一个人花了时间精力还不如去学CS刷刷题申请SDE。
  

对DE来说，我个人总结比较重要的技能包括：

• data modeling, data warhousing, database management --> SQL
• Python/Java/C#/Go......
• AWS/Azure/GoogleCloud 全家桶（AWS划重点）
• Hadoop/Spark
• Airflow（最近还挺多人问的）
• 会一些前段data visualization
• 最好有一些business sense
• 会ML。。。
  

要求的挺杂的，所以面试就比较难准备。我面过考里口算法。。面过只问SQL的。。还面过Python写pipeline的。。。还面过让我写spark或者airflow DAG的， 还有问我ML的相关问题的。。。。。

准备的面试的话我只能推荐多准备Python和SQL了。。 会AWS是有很大加分的，尽量学一些AWS像是 AWS redshift， EMR-SPRAK, AWS kinesis, AWS Step Function还有AWS Glue。。。

最会祝大家好运~~~

DefoeCheung 发表于 2020-4-13 09:48
干货不应该沉啊，感谢楼主分享，大米已加

过去一年了，最近在往faalg公司面试。最大的体悟就是刷leetcode。 先刷SQL，然后刷算法。
不用像SDE那样算法要求那么高。但是一定要最起码刷所有的esay和高频med。。。。
其实我原来对刷题不是特别推荐，甚至比较排斥。总觉得DE不需要刷题，而且平时工作完全用不上。但是自从我自己也开始面试别人之后我也理解了，你不考算法题。你考什么？你面试什么？真的纯BQ吗？那样招来的百分之八十都是坑。。。。
但是又带出了另外一个问题，你既然都刷题了，也刷的不少，为什么不直接做SDE，要知道DE在大部分公司的待遇和发展空间都比SDE差不少。。。。你要是真喜欢DE那就另外一回事了。。。。

啊 这篇帖子和底下的评论都好有用啊 有点感兴趣DE又不知道刷什么题 内容很杂不知道公司面试怎么准备。

爱吃水果 发表于 2020-5-12 03:14
LZ请问哪里可以找到DE projects做？感觉网课都是教各种技术，很少projects

如果是没有经验去面非junior level DE，感觉还是有点困难的。很多东西都是day to day work才能接触到的。比如data governance, product相关的sense，data modeling, build data pipeline，维护，都挺吃经验的。所以如果真要转DE，还是面大公司DE岗最好，基本technical过关就行。
很多人说DE面试比较杂，cover很多东西，其实那些东西确实都是天天工作会用到接触到的。如果是面entry level, 基础的coding, sql之类的一定要过关。除非中小公司想招hands on的来了就能上手的人，大公司entry level的commitee会考虑到很多选手没有相关经验，所以bar不会很高，很多都是有基本sense就行。如果在大公司有了一些经验之后，去面其他公司DE岗，很多时候会发现职位就像是给自己量身设计的一样。

最近也在考虑这个职位。加个微信交流吧。natsukixs

楼主在地里有找到什么好的DE找工作面试方面的帖子可以分享吗？谢谢！

干货不应该沉啊，感谢楼主分享，大米已加

chenwang9527 发表于 2020/04/13 11:55:42

过去一年了，最近在往faalg公司面试。最大的体悟就是刷leetcode。 先刷SQL，然后刷算法。
不用像SDE...

不排斥SDE的，只是专业非CS相关感觉除了刷题之外需要学习的面还很多（如有误解还请指正）
现在在职DA，想往data方向发展，感觉DE是一个比DS相对简单粗暴容易准备跟拿下些的职位，往后考虑继续准备DS，不知道这个思路对不对。
另外想请教DE待遇一般跟SDE会相差多少？我看到DE在纽约的职位一般中位数是10w+，这个数字难达到吗？
感谢解答！

DefoeCheung 发表于 2020-4-13 12:09
不排斥SDE的，只是专业非CS相关感觉除了刷题之外需要学习的面还很多（如有误解还请指正）
现在在职DA，想 ...

只是我个人理解，首先DE面试排除FLAG这个level的公司的话，其实面试的东西很杂并且有很大不确定性。说实话很多公司面试水分很大，比较看运气。
另外DE并不比DS简单粗暴，我自己就是学统计的，并且也经常和DS做project。。。说不好听的很多公司的DS就是高级DA。。。ds的门槛更多是学历，学校和工作经验。
我本人是在LA，一般来说DE一年10W是没问题的，但是SDE的话去FLAG新毕业的一年差不多也最少23W吧。DE去FLAG一年差不多15-16W？ 这个是湾区的数字，并不大准确。

devops 和MLE和DE有很大重叠性，给的应该比DE高很多。
另外楼主是统计背景的话做DS应该一点问题都没有啊。

n0thing233 发表于 2020-4-13 13:45
devops 和MLE和DE有很大重叠性，给的应该比DE高很多。
另外楼主是统计背景的话做DS应该一点问题都没有啊。

对DS没兴趣。觉得不是那么有趣。
我对以后的发展其实就是准备做data infrastructure 或者MLE。 但是如果能先跳槽在看了 。。。。

LZ现在在Hulu吗？