另类的Data Engineer, 分享一下自己的求职及工作感悟

still602 发表于 2020/04/19 11:04:26
蹲一个AWS Toolkits👀

一起学习AWS GLUE & LAKE FORMATION? 😅

Lz 昨天辛辛苦苦写了篇分享ETL 实战经验的帖子结果发不出去！发不出去！发不出去！
这里给大家 preview一下吧😇 （我等级太低了连图片都发不了😂）

在现实环境中，通常都会有多个数据来源，ETL 就是将多个数据来源根据需求处理后汇总到同一个数据库中以便进行深入的数据分析。
假设我们有三个主要的table: customers, products, orders 这三个table 分别来自三个不同的data sources. 如果我想对什么样的客户买了什么样的产品进行分析，我们就需要把它们整合汇总到同一个 database 里。

这三个table 应该是实更新的，但通常我们不需要分析实时数据。如果这三个table 很小，我们当然可以每天定时清空 truncate 我们的 database，然后“复制粘贴”。但现实中，这些table 可能每天都有几十/上百万行的新数据，每天Truncate and Load 是不可行的。所以通常都是 Incremental Extracts.

lz 面试的时候被问到AWS频率高吗？  另外是不是自己deploy过的程度就行？

nn960208 发表于 2020/03/29 11:13:34
有戏啊～你有da的经验可以帮助你在做de的时候更加了解使用数据库的人的需求也更加了解数据本身。de之所以需要更多的cs背...

感谢回答！我的工作日常就是用tableau的。还是想多学一些de方面硬核的技能哈哈

zeader 发表于 2020/04/19 12:15:14
SQL + Python/Scala+ Spark + AWS/Azure + a little ML

啊谢谢分享！

谢谢楼主分享，很丰富

同DE握爪

nn960208 发表于 2020-4-20 01:49
Lz最近准备好好研究一下 AWS GLUE 和 LAKE FORMATION，这两个功能都比较新， lake formation 更是去年才开 ...

wow lz随便一说感觉都是不懂的……现在新东西好多 都不知道从哪开始搜

nn960208 发表于 2020-4-20 01:57
Lz 昨天辛辛苦苦写了篇分享ETL 实战经验的帖子结果发不出去！发不出去！发不出去！
这里给大家 preview一下 ...

感兴趣。期待楼主发更多///

nn960208 发表于 2020-3-27 08:51
这个问题有点太大了，我争取周末抽时间总结一下我在面试的时候准备和被问到的问题。
大体上会集中在对于 ...

DE求职中，期待楼主的分享～