浅谈data专业找工作

随着信息技术快速发展， 人们获取 存储 分析数据的需求不断增强，因此数据从本地转到云端是21世纪高科技时代的发展趋势。
于是，近几年来，美国Data类的岗位数量猛增，在Glassdoor上显示Data相关的职位薪水也相当可观。比较常见的data职位有Data Analyst, Data Engineer和Data Scientist, 其中Data Engineer职位会更多。那么成为一名Data Engineer, 需要掌握哪些知识呢？
1.        ETL   
https://en.wikipedia.org/wiki/Extract,_transform,_load
ETL是将系统的数据经过抽取、清洗转换之后加载到数据库的过程，目的是将分散、零乱、标准不统一的数据整合到一起.
在市面上 有许多的tools可以使用如 Pentaho, SSIS, SAS, Apache Nifi, etc.
2.         Cloud computing service: Azure  （or AWS）
https://azure.microsoft.com/zh-cn/overview/future-of-cloud/
Azure本身也提供了一些 强大的Cloud-based integration ETL services来实现这个目的. 结合自家的云端的优势，可让使用者选择不同的data sources or API来整合，更可简单的转换关系型与非关系型式等数据结构.
并且可以按照自己的需求来设置build, debug, deploy, operationalize, and monitor, publish your data pipelines. 再者由于数据安全的重要性，Azure更提供了一些设定来有效的保护与加密数据.