另类的Data Engineer, 分享一下自己的求职及工作感悟

最近看到很多帖子在讨论关于 Data Analyst 以及 Data Science 的就业前景。恰好本人目前在从事相关工作，每天都在接触做da, bi 以及ds 的同事算是对这个话题有点感触吧。
和论坛里的各位会各种模型，精通a/b testing的大佬相比之下，我应该是做的最底端的工作了。
我的title 是data engineer,  主要的工作内容是做各种 ETL Pipeline, 管理数据库，处理各种 raw data，总而言之是为各位 BI 以及 DS 的大佬准备好可以供分析的数据。 因为工作性质以及公司的形态（不是大家经常讨论的大科技公司），我在过去的一年对于我们这类公司跟数据相关的各个岗位以及基本各自的职能都有点了解。希望我的一点点经验可以帮助大家了解一下真实的行业现状吧，或许可以帮到一些正在找相关岗位的童鞋！！！

Data Analyst 相关岗位是否已经饱和？
个人觉得是也不是！
已经饱和是因为，在各大中介的吹嘘之下，不管什么专业的人都想从事相关工作。我印象非常深刻，我的很多本科不同专业的同学都选择跟 data science/ data analysis 相关的研究生专业并且也希望可以找到相关的工作。我本人认为， 普通的国际留学生可能会比较难找到 DA/BI enter-level 的工作。
像我们这种比较偏向的marketing的公司 对于DA/BI 硬核的技术要求不高（但其实想要精通也是很不容易的）。基本技能主要包括 excel, sql, tableau/powerbi, python/ R。（上班第一个月深刻的意识到自己根本不会Excel，别人用的和我之前知道的可能不是一个软件。。。强烈建议想做da 的童鞋好好学习一下如何正确使用excel）
工作性质主要偏向通过数据为公司的business-decision 作出建议。 所以要经常和Marketing 以及各种 stakeholder 打交道。我同事说有的时候一天会收到上百封的邮件，面对五花八门的需求。这就对 DA 本身的语言能力要求比较高了。和native speaker竞争起来我们可能比较劣势。
但是，真正有能力的 DA/BI 真的太少了！！！我个人觉得 DA/BI 的核心是对于公司的 business model 的深入理解。这一点，我觉得是很稀缺的也是很难培养的吧。

Data Enginner 是做啥的？
每个公司在不同的阶段可能对于这个职位的定义会有所区别。我在刚进公司的时候，我们这个team属于创建初期。公司的一波快速发展加之前期的构建不完善，导致我们部门的压力很大，需要做很多杂活。
大体上我们是跟 ETL打交道的。
extract： 了解公司各种原始数据，有的是公司自身的数据，还有很多第三方数据来源 比如 Google analytics
transform： 跟end-user 了解不同的需求，根据情况处理数据
load： 选择适合的数据库，维护数据库，提高性能等
每个环节都看似简单，但都涵盖了很多不同的领域。尤其我们这种 startup， 各个环节基本都要自己搞定。有一次为了搞清楚第三方数据中一项来自于我们app这边给的的id，我们翻遍了前端的code。
现在阶段 除了为新需求继续做不同的pipeline外，我的工作更加偏向 data quality， data governance 和 data lake。

和论坛上大多数人相比，我真的很普通，肯定没有大家刷的题多，估计 GPA更是普普通通，也经历过大多数人都经历过的找工作的焦虑（现在也在焦虑的等待抽签结果中），刚刚进入职场也是充满压力，前段时间更是在连续加班后病倒了一个人去医院住院手术（之后可以分享一下，到底看病住院花了多少钱💰）。希望大家在这个特殊时期都身体健康！！！平常心的面对我们不能控制的事。
第一次发帖，谨是我这个职场小白的一点点个人见解！

Lz 昨天辛辛苦苦写了篇分享ETL 实战经验的帖子结果发不出去！发不出去！发不出去！
这里给大家 preview一下吧😇 （我等级太低了连图片都发不了😂）

在现实环境中，通常都会有多个数据来源，ETL 就是将多个数据来源根据需求处理后汇总到同一个数据库中以便进行深入的数据分析。
假设我们有三个主要的table: customers, products, orders 这三个table 分别来自三个不同的data sources. 如果我想对什么样的客户买了什么样的产品进行分析，我们就需要把它们整合汇总到同一个 database 里。

这三个table 应该是实更新的，但通常我们不需要分析实时数据。如果这三个table 很小，我们当然可以每天定时清空 truncate 我们的 database，然后“复制粘贴”。但现实中，这些table 可能每天都有几十/上百万行的新数据，每天Truncate and Load 是不可行的。所以通常都是 Incremental Extracts.

jojojtwang 发表于 2020-3-27 10:43
楼主！我这两天正好在面国内某厂的data engineer. 我之前做的都是分析类的工作，其实我非常想转到工程类， ...

不好意思我不太了解国内所使用各种工具可能没法具体的给你什么建议。
我个人对于数据库的搭建的理解是：
1.了解原始数据来源。这个很重要。一方面要了解 raw data 的 structure 这类技术问题，另一方面也要明白这些数据对于公司的意义就是要了解公司的 business model。一个公司里可能大多数人其实都不了解自己公司的business model。
2. 了解公司对于数据库的期待。是简单的储存，还是服务于各位数据分析师。如果是服务于数据分析师，他们又需要什么
3. 了解一下基本的etl、数据库、云储存知识。比如数据库的种类： PostgresSQL, MySQL 还有各种relational database。

关于项目的话，我不太了解具体方向不太好给出任何建议～ 个人感觉新入职场只能多学多做多问吧！

applejuice404 发表于 2020-3-27 09:27
求问lz有没有什么de的复习资料或者复习重点呀 面试的时候总是被问当数据特别大的时候的ETL细节 然后被chall ...

这个问题有点太大了，我争取周末抽时间总结一下我在面试的时候准备和被问到的问题。
大体上会集中在对于etl 的理解。一定要提前做做功课，了解一下公司所使用的etl 工具。我知道有些在用hadoop， spark 之类的但是我们用的是airflow。
另外就是关于数据的处理以及维护了，这个也要看不同公司的需求了。有的只有数据库，有的会涉及更多云储存，云计算的部分。又要看公司偏好什么系统了。比较常见的应该是 google cloud platform 和 aws 吧。
我比较了解aws， 之后可以专门说一下 data enginner 常用的aws features。
如果你有什么具体在面试中被问到的问题，我可以试着帮你解答一下！

求问lz有没有什么de的复习资料或者复习重点呀 面试的时候总是被问当数据特别大的时候的ETL细节 然后被challenge到...

楼主！我这两天正好在面国内某厂的data engineer. 我之前做的都是分析类的工作，其实我非常想转到工程类，问了面试官，也说这一块对整体数据仓库的搭建流程要求比较高，具体项目操作会比较重要。但是我发现网上对于这块的比较少（主要是工具的使用例如hadoop spark之类的），对de的整个学习路径也比较少总结，都是非常零散的知识。
所以我想问，初学者要怎么入门呢？重点是做项目，那项目要怎么做，有哪些网站/源可以用？做项目的时候，需要重点注意什么呢？

感谢楼主！！！

nn960208 发表于 2020/03/28 01:01:58
不好意思我不太了解国内所使用各种工具可能没法具体的给你什么建议。
我个人对于数据库的搭建的理解是：
1.了解原始数据...

感谢楼主！

nn960208 发表于 2020/03/28 00:51:33
. Χ这个问题有点太大了，我争取周末抽时间总结一下我在面试的时候准备和被问到的问题。
大体上会集中在对于etl 的理解。一定...

同样对de的aws toolkit感兴趣。

楼主想请问你觉得business background现在在做da转de有戏吗…我平时也会写pipelines…基本上是sql➕python…但是看到市场上de岗位还是都是要cs background有点灰心

现在做database developer 想转de 不知道该补充哪些知识呢

yyy77 发表于 2020/03/28 12:17:50
楼主想请问你觉得business background现在在做da转de有戏吗…我平时也会写pipelines…基本上是...

有戏啊～你有da的经验可以帮助你在做de的时候更加了解使用数据库的人的需求也更加了解数据本身。de之所以需要更多的cs背景是因为这个行业还相对更新，技术的变革很大，需要有一定的cs背景去帮助de更快的掌握新技术。比如像最近比较流行的spark这类以及很多cloud上的新功能例如aws glue。这些比较技术性的工作。我不知道你的工作会不会用到powerBI/ Tableau这类的数据可视化的工具。如果没有的话我强烈建议你从Tableau开始，我听BI的同事说这方面的缺口也挺大的！