北美疫情就业分析，探索DS的“硬技能底线”，Entry level空缺到底有多大？

上一期《我们分析了疫情就业趋势，发现亚麻稳坐宝座》我们分析了疫情下数据科学的岗位数量，仅一周之内，Glassdoor上就暴增了6205个相关岗位；本期我和我的小伙伴们决定分析一下——市场上都需要什么样的人才？公司喜欢的求职者都需要掌握哪些硬技能？哪个领域对数据科学的人才需求最大？市场上数据科学的初级岗位发布的多么？
传送门：
https://www.1point3acres.com/bbs/forum.php?mod=viewthread&tid=651707&page=1&extra=#pid12318254

总结了上一期大家的问题，《北美招聘市场分析项目》更新到了第二期，分析奉上！

写在前面：作为疫情下北美就业分析系列第二弹，我们还是从LinkedIn、Indeed、Glassdoor三大求职网站爬取了近一个月数据科学相关岗位的数据。

使用的搜索关键词为Data Scientist，这些职位包含Data Scientist、Data Analyst、Big Data Engineer等。在清洗和整理（比如去除重复的职位数据、整合不同州相关数据等）了数据之后，我们分析比较了整体上和FLAG大厂对于数据科学相关职位的技术要求；各行业对数据科学人才的需求比例以及市场上空缺岗位的职级分布。

【数据科学求职需要哪些硬技术？】

（一）编程语言

话不多说，上图（还是在Google Drive里）！

数据来源：Indeed
https://docs.google.com/document/d/1NoIY_zRUNx7-N6sDs2GUEJe2pmDs9R00ZtcJc975BIw/edit?usp=sharing

数据来源：LinkedIn
https://docs.google.com/document/d/1NoIY_zRUNx7-N6sDs2GUEJe2pmDs9R00ZtcJc975BIw/edit?usp=sharing

Python是主流 No.1：
Python是数据分析的主流工具，无论是在Indeed中还是在LinkedIn上，无论是面向全部岗位（＞50%）还是针对科技大厂（＞60%），Python的出现频率都是最高的。

SQL是主流 No.2：
大致40%的岗位提到了SQL。对于数据从业者来说，作为主流querying language的SQL也需要被掌握。

R是统计学王者：
R主要用于统计分析和绘图，它在统计学方面具备特定优势。从整体上来看，40%左右的公司希望求职者掌握R语言。

Java & C受大厂偏爱：
对于软件工程师职位，Java和C是热门编程语言；但很显然，对于数据科学相关岗位，公司对这两种编程语言的要求要弱化很多，只占20%左右。

另外我们可以看出，大型科技公司对Java和C的需求可达40%，远远高于普通公司。这是因为大厂提供了很多Data Engineering岗位，这些岗位对算法的要求偏高。

SAS是学术“达人”：
也有一些公司在职位要求中提及SAS这一面向过程的编程语言，但业界对SAS的需求相对较低。对于互联网公司，SAS并不是一个必不可少的工具，不过很多生物制药或者学术型研究机构对SAS很是偏爱。

PS：
在数据科学相关职位的求职过程中，往往只需要熟练掌握一门编程语言就可以。

我们爬取收集到的职位要求中，大部分公司也会在职位中注明类似于“Proficiency using one or more programming or scripting language to work with data such as: Python, Perl, or C#”这样的描述。分析只是把各编程语言出现的频次进行了比较。

当然，在具体面试中，面试官会针对你所熟悉的那一种编程语言，考察你对软件的熟悉程度、相关数据分析和数据呈现模块的掌握情况、实现相关数据科学算法的能力等等。

与软件工程师求职相比，数据科学求职过程中对于编程能力的考察要求会大大降低，只需要基本的编程能力就可以。对于数据整理、分析、建模、可视化等能力的考察才是数据科学相关面试中的重中之重。

所以，如果地里的小伙伴刚开始准备数据科学求职，还在犹豫从哪种语言着手学习，推荐一下Python。

（二）大体知识模块

数据来源：Indeed
https://docs.google.com/document/d/1hGR5W0ZMkXmo7opGcEiRhHKYuk2y2SrLM2oNcnbDYbs/edit?usp=sharing

数据来源：LinkedIn

https://docs.google.com/document/d/1hGR5W0ZMkXmo7opGcEiRhHKYuk2y2SrLM2oNcnbDYbs/edit?usp=sharing


谈到岗位要求中必备的理论知识，我们先分析Statistics、Database、Machine Learning、 Deep Learning、 NLP等这些知识模块在职位要求中所占的比重。

Statistics & Machine Learning求职第一步：
在所有数据中，明确要求掌握Statistics和Machine Learning的职位分别超过50%和40%。FLAG大厂对Machine Learning的要求更是达到了70%以上。

毫无疑问，想要准备数据科学方向的求职，熟练掌握Statistics基础数理理论和Machine Learning相关模型是拿到心仪offer的第一步。

Database是中小型公司的心头好：
从分析结果中可看出，Database也是一个重要的知识模块。相比于FLAG职位描述中20%左右的出现率，中小型公司对Database的需求明显更高，可达35%左右。

这是因为在中小型公司，可能需要你掌握多种技能来独立完成工作；而在大公司里，你更需要专注于某一特定领域。

大厂中有专人来维护Database和对Database接口的开发（常常由软件工程师来完成），所以对于数据科学工作来说，重心会更多的放在数据的分析、建模、可视化等工作中。

Deep Learning & NLP是大厂加分项：
对于新兴的Deep Learning和NLP，特别是前者，科技大厂的需求明显比普通公司的需求高。

这是因为Deep Learning算法需要大量的数据来进行训练 （Deep learning thus far is data hungry），而大公司数据更多，像Amazon、Google常常会有海量的数据，可以应用Deep Learning来分析结果。相比之下，小公司数据较少，一般只能用一些传统的算法来进行数据分析。

所以能够熟练掌握Deep Learning的相关模型，了解相关库的使用（比如TensorFlow，PyTorch，Keras），在FLAG数据科学面试中是一个大大的加分项。

（三）典型知识点

数据来源：Indeed
https://docs.google.com/document/d/1m4-LtWuJhO8j_I4MsrY7QggyXRiVm8ek_dDDy_38LRc/edit?usp=sharing

数据来源：LinkedIn
https://docs.google.com/document/d/1m4-LtWuJhO8j_I4MsrY7QggyXRiVm8ek_dDDy_38LRc/edit?usp=sharing

分析了职位描述中大的知识模块后，我们再看看其中提及的典型知识点。

Visualization是名副其实No.1：
在Top30的典型知识点中，Visualization位居榜首。这是一个非常重要的能力，需要我们把具体的数据转化为图形化表示，给团队中其他成员解释从数据中可以看到什么、得到什么结论（所以也需要很熟练的操作Matplotlib，Seaborn等图像化的package）。

需要熟练掌握的知识点：
除了Visualization外，Prediction，Optimizing，Forecasting，Regression，Classification，Supervised learning，Unsupervised learning等也是比较重要的机器学习知识。当然，normalization、correlation等统计方面的基础知识也很重要。除此之外，在建立模型之前Data cleaning也是需要掌握的一个很重要的能力，可以为建立一个稳定的模型打下基础。

从另外一个角度来看，这些知识点都是数据科学相关职位在日常工作中常用的基础技能，所以面试官在面试过程中也会重点考察。为了从容应对面试，建议大家熟练掌握这些知识点。

（四）Package

数据来源：Indeed
https://docs.google.com/document/d/1JqNFIWcGaGWudn6iXLDZR4WUMLGryzzuurxYT5eJH8Q/edit?usp=sharing

数据来源：LinkedIn

https://docs.google.com/document/d/1JqNFIWcGaGWudn6iXLDZR4WUMLGryzzuurxYT5eJH8Q/edit?usp=sharing


另外，我们还分析了数据科学求职中要求熟练使用的数据分析包。从分析结果来看，常提及的package大都来自于Python（这也间接证明了Python在数据分析中有多重要）。

Tensorflow & Pytorch与知识点相辅相成：
Tensorflow和Pytorch是最常被提及的package，它们与Deep learning有着千丝万缕的联系；Matlab也是一种重要的工具，而Matlab的Visualization非常出色。

但是，作为Machine learning的常用工具Sk-learn，在分析图中并没有很好的反映其需求，这可能是因为Sk-learn太过基础，很多职位要求中默认了大家对于Sk-learn的掌握，类似的情况还有Pandas。

（五）大数据工具

数据来源：Indeed
https://docs.google.com/document/d/1XdQJUkLoVpO1MTBs3JOUUfKz7Gd63LLxW60d8Fif89U/edit?usp=sharing

数据来源：LinkedIn
https://docs.google.com/document/d/1XdQJUkLoVpO1MTBs3JOUUfKz7Gd63LLxW60d8Fif89U/edit?usp=sharing

最后，我们来谈谈必备的大数据工具。

Spark & Hadoop是主流工具：
对于Database相关的职位，大数据语言是必备的技能。Spark和Hadoop是最主流也是最常被提及的两种工具，对于想从事数据库和大数据相关工作的同学们，它们相当重要。

总的来说，作为一名数据科学求职者，掌握好统计学的基本方法和Machine Learning的相关知识比掌握好哪一门编程语言更为重要。

编程语言只是一种实现的工具。  

但是，我们至少需要熟练地掌握一门编程语言来支持工作的需要。根据以上分析，建议大家可以将Python作为主要使用的语言，而其他语言作为补充；掌握SQL的Querying语句使用；至少掌握Machine Learning中的基本模型及其应用场景；至少掌握基本的统计学方法，例如假设检验，A/B testing 等；掌握一些常用的数据分析Package。

若想提高求职竞争力，还需要熟练掌握Deep Learning的模型搭建及其使用方法，并且能通过Tensorflow和Pytorch等工具实现。

硬技能过关了，到哪里找Data方向的工作？哪个领域对数据科学的人才需求最大？数据科学岗位的职级发布如何？

【行业领域和职位级别分析】

（一）行业领域分类


数据分析图：
https://docs.google.com/document/d/1Wp2ByS8UPdjY-JlWuUEyEjp6WV4SQ2mZ2gM4fvDA4r4/edit?usp=sharing
在对LinkedIn网站上六月的数据科学工作进行了行业领域分类后，结果如上图。

IT/Software领域占据所有行业的三分之一：
不出所料，IT/Software领域对数据科学人才的需求量最大，占所有行业的31%。IT行业近年一直是热门领域，是大量求职者的首选。

排名第二的是政府和军事防御领域，其中包括美国财政部，美国海军在内的部门，数据科学岗位占整体的16%，这可能与他们拥有海量数据有关。

接下来是医疗健康和生物制药行业，该行业占总体岗位数量的13%，远远高于预期。这与今年的疫情流行导致医疗行业的需求量增多有极大的关系。

咨询行业对数据科学的的需求量也不少，以8%排第四，咨询行业需要对大量数据进行整理分析从而得出对咨询者有用的信息。

排第五的是一些研究和非盈利机构，他们提供的数据科学岗位数量占总体的7%。

接下来是市场营销和传统金融行业，分别占据3%。金融行业的职位数量相比往年似乎有所下降，这也许与COVID-19导致经济萧条有关。


（二）职位级别

数据分析图：
https://docs.google.com/document/d/10t15no6vkkviKxORG1r1PvF_ErUv3HrcmLb-d7uaIYs/edit?usp=sharing

那么这些空缺职位都是什么职级？

Entry level空缺最多
如图所示，我们可以发现，实习岗位仅占很少的比例，这个结果与当前疫情持续爆发很多公司取消实习的现象相符。
. .и
Entry level级别的工作空缺数量最多，占39.7%。Associate级别的工作数量也不少，仅次于Entry level 占总体数量的32.8%。

从上图还能看出，随着职位级别的升高，岗位需求量也有所下降，社会分工像金字塔——这符合我们大家的推断。

Entry level的数量虽然最多，但Associate也不少，前者并没有占据绝对的压倒性优势，这说明数据科学工作还是有一定门槛要求的，有相关行业的经历会更占优势。

PS：我和我的小伙伴会在接下来的几周内继续分析疫情下北美就业发展情况与预测，非常欢迎地里的大家留言，给楼主点动力~当然也可以提问想要分析的相关内容！

我最想知道的还是有多少职位是给new grad的