Data engineer面经和总结

做data engineer有一段时间了，最近面了一圈打算跳槽，觉得地里相关的信息好像少了点，就大概写一下吧

Linkedin

data 是一个独立的部门，比较偏technical，面的职位是做data infrastruture

Phone: streaming two sum设计; SQL，local maximum record，不能用window function, limit, aggregate function (碰到住在附近的老乡……）

Onsite: 六轮，每轮都不一样…… （都是老印）

一轮mapreduce：top k的问题，怎么用mapreduce写，怎么scale，怎么选择split，另外还有一些hive, yarn相关的知识

一轮communication：就是选两个做过的project，怎么给一个组里新来的人讲明白

一轮hiring manager：主要问简历，问了一个怎么communicate schema revalution的问题

一轮coding: LC上矩阵一个为0，整行整列的为0；两个hard disks of integers，怎么整个排序，中间transfer的cost最小（有点意思，像binary search）

一轮ETL：怎么merge两个SCD tables，算是两个dimension，但key是一样的；一个social graph，怎么建model，如果是relational，怎么query有共同特点的人

一轮data model：都比较基本的问题，CDC、SCD、hierarchy有几种设计方法，优缺点是什么；SCD里要算几年之前的revenue，key怎么设计；怎么区别degenerate

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

lign="left">说一下大家关心的software engineer vs data engineer的问题。每个公司data engineer做的东西会差非常多，面试的时候就能看出来，system design和product design都有可能面到。其实真正做的好的data enginner，也是基本上懂的很多的，现在的趋势也是越来越宽，怎么通过data把business和engineering联系起来。data engineer虽然coding没这么高的要求，但还是有很多其他方面的skill，完全不是一个做其他职位的人能很快搞定的事情。举个不恰当的比方，比较像LOL里的support，不一定要你解决多难的问题，但少了中间那步，整个团队也做不了什么。不过现在的问题就是每个公司会很不一样，大家觉得需要找做data的人，但又不太清楚具体应该做哪些工作，所以需要好好选择一下。我觉得今后至少在大公司里，会慢慢standardize。

最后吐槽一下所谓的优越感，Data engineer工资低是没错，但不是说是software engineer就牛逼了，价格是由供求关系决定的，不是由使用价值决定的。data engineer门槛也不低，就算是工资，高一级的data engineer还是完爆的。如果你对product感兴趣又有一定engineering skill的，我觉得data enigneer是一个很好的选择，可以对business有非常直观的了解。

希望对大家有帮助

楼主 没有面Amazon的DE吗？

话说想请教下楼主DE平常会用到ML和deep learning么？
我其实之前的两个实习经历是etl和ML model implementation都做过，感觉两个都挺感兴趣，不过感觉ml方面的兴趣更大一点，前景也貌似更好一些？但是专门做ml的岗感觉bar都太高，ms基本没戏，所以想de入门不知道这个想法靠不靠谱

david.fang 发表于 2018-8-25 04:59
楼主 没有面Amazon的DE吗？

没有没有没有

Thanks, Mark

请教一下lz专业和工作本来的内容呢？感觉面试覆盖的内容很多很广

楼主最后决定要去哪儿了嘛～

albeehere 发表于 2018-9-12 06:17
请教一下lz专业和工作本来的内容呢？感觉面试覆盖的内容很多很广

每个公司data engineer职责会很不一样，小公司里反正什么事情都做

riva420 发表于 2018-9-12 12:35
楼主最后决定要去哪儿了嘛～

可能去facebook

谢谢楼主！mark一下，很快要做de的oa了，希望能有好结果！