疫情期间物理转DS/ML上岸总结分享

写在前面：本文从一个非CS，非统计专业的PhD fresh graduate，找MLE/DS角度谈谈自身经验，主要是写写前期准备，面试准备和面经总结，仅供参考。
鏖战了6个月，终于签上了自己满意的offer。疫情期间毕业，又是转行选手，找的还是比SDE内卷百倍的MLE/DS岗，期间免不了经历了很多自我怀疑和抑郁。这半年来从地里得到了很多人的帮助和鼓励，于是打算从自己的角度写一写我对PhD背景找MLE/DS的看法回馈地里，希望对类似背景的同学有帮助。仅供参考。
开始之前先报一下数据：

简历：约200家，约85%海投，10%LinkedIn猎头主动联系，5%内推
phone screen：9个
onsite: 9个
offer: 2个

最终去向：湾区中厂 Staff Data Scientist (Machine Learning)

1. 前期准备
首先我觉得要认清楚的是，相比起Software Engineer, 求职Machine Learning Engineer/Data Scientist 应该是hard 模式。因为一方面岗位较少，另一方面所有STEM甚至非STEM的博士生，只要是有数据相关工作的都可以来申。我认为要脱颖而出，一是要有简历上能体现出的优势，二是要有硬实力。根据我对身边其他人的观察，基本上成功从这个方向上岸的人有以下几种模式（或者不同模式的混合）：

1. A同学，博士期间前几年选导师时就选到ML相关的方向的导师（我们学校允许跨专业选导师），发顶会文章，拿FAANG大厂MLE/SDE实习，拿return offer
2. B同学，本系导师极其push，但是课外自己花很多时间刷力扣，做Kaggle challenge，找到国内大厂ML实习，上项目发paper，最后进入金融类独角兽做MLE。
3. C同学，博士期间后几年，本职研究做ML和学科交叉的项目。因为本系导师十分佛系，自己到CS找ML方向的co-advisor，选校内ML课程，在本职研究外做纯ML项目，发了两篇Journal。local startup DS实习，毕业后找到MLE/DS。
4. D同学，本职工作出色，数学，代码和统计功底扎实，但不精通machine learning。暑期拿到FAANG大厂Data Scientist实习，但由于不能relocate而放弃return offer，毕业后进medical start up做research scientist。
5.E，F，G同学，毕业前进入Data Bootcamp (TDI, Insight等等），毕业后match上local 小厂的DS，工资一般，但WLB很好。

我自己总结出一下几条经验：
1. 不管走什么路线，关键是要早早决定自己以后要进业界还是学术界，越早开始准备优势越大。我自己是PhD最后两年才开始有计划地增加自己ML方向的经验。所以我投大厂的MLE简历基本上都是秒拒。
2. 大厂实习的帮助非常大（即使没有拿到return offer）。大厂实习不单单是给一个return offer的机会，更重要的是上的项目更relavant，比起科研项目，含金量更高。身边就有一个虽然实习未能给return offer但因为在那做过的项目match 而在另一个公司拿到250k (In Boston)大包的例子。所以抓紧暑假的机会找大厂实习，如果进了就相当于上了快车道。
3. 看清自己的定位。对业界有足够敏感度并且能够及早开始准备的人毕竟是少数。如果已经是最后两年或者最后一年并且没有任何前期规划，那争取在毕业前进入data bootcamp，虽然前来match的基本上是小厂，并且可能要给钱（一般可找到工作后再给），但能够保证较高成功率，很难找不到工作。
4. 做好自我包装。 LinkedIn的profile，自己的Github账号，不要懒，全部都精心准备一番。这种事只要做一次就能带来长久的收益。因为很多公司的HR了解你第一步就是看你的linkedin，很多猎头也是从你LinkedIn上的技能和经历找到你的。我后期基本上两三天就有一个猎头给我发消息。

2. 简历阶段
我刚开始找工作是去年10月，大概是大厂秋招的尾巴。那时投的所有简历，不管大厂小厂，内推海投，清一色的拒信。为此我焦虑和很长一段时间，找了很多人给我看简历。后来我慢慢发现问题并不是出现在简历上。大厂简历拒是因为有更好的candidate，他们优先考虑的肯定是CS，ML，统计专业的PhD。并且我投过的所有大厂几乎必定在preferred qualification 里面有 "publication in top tier conferences". 这样就基本雨我无瓜。我投了基本上所有能叫得上名字的大厂，唯一给了我interview的是uber，最后在明明interview表现良好的情况下莫名其妙把我拒掉。
小厂简历拒则基本上是因为时间不match。越小的厂招人越急。我在简历上反映自己毕业时间是今年5月。同样的简历，去年12月之前投的清一色的拒信，但是今年1～3月投的成功率大大提高，并且我的领英从今年一月份开始就不断有recruiter前来主动勾搭，都是一些startup。

再来讲讲各种投简历的各种途径。
我个人经历中，各种投简历途径的成功率（指拿到面试）排名为：强内推 >= 猎头 >> 弱内推 >= 海投。我拿到的9个面试里面，5个猎头/hr，1个强内推，1个弱内推，2个海投。

强内推不说了，可遇不可求。


linkedIn猎头主动勾搭的成功率是极高的，基本上一定能保证OA或者phone screen。缺点是主动来找你的一般都是小公司，并且对时间的要求一般比较specific，基本上超过3个月之后入职都是直接pass，以及可能不sponsor H1B。因此后来我也养成了习惯，猎头给打电话第一句话就说"I am graduating in XXX, 2021, is that OK"，第二句话是"do you sponsor H1B?" 如果两句有一句是No就挂电话了。

弱内推是玄学，就我个人的经验而言不太行，可能是我运气不好。我亚麻狗家软家脸家和果家都找人帮我推过，都是熟人推，没！有！一！次！成！功！而且他们不是干干脆脆给你发拒信，而是给你拖上几个月才来给你发一封no-reply。内推可能对中厂以下比较有用，但这就比较考验平时有没有connection。地里的内推试过，基本上等你去找的时候就已经人满为患了，还是找自己学长学姐的内推更靠谱。
关于内推还有一种说法是看到职位后去领英勾搭那个公司的HR。我亲自实验之后觉得也不太行。很多人回复领英信息动辄一周，更多人则是直接ignore，在你干等的时候那个岗位说不定都找到人了，像我这样的人这么做只会徒增焦虑。

海投的话虽然也是玄学，但是量变产生质变，而且这个方法实际上是最省精力的方法。我一开始投简历的时候特别认真，会根据Job Description修改自己的简历，尽量放最match的经历，同时还认真准备cover letter的模版，针对每个公司的工作内容不同修改。后来证明这些努力都是bull sh*t。你cover letter写得感人至深，但公司很可能只是把你的简历过一遍机器筛就丢到垃圾里面。海投就像tinder，你们玩tinder的时候会仔细去看别人profile写了什么吗，大家时间都很宝贵，五秒钟看脸左右划。
海投的话我觉得主要是看consistency，广撒网，少花精力，把更多的时间花在提升硬实力上。我开了领英premium，每天推送MLE的职位，我每天就选前五个Qualification最适合的投。而且最好是能够在Linkedin上easy apply的。系统太复杂的跳过，问题太多需要临时编的跳过，每天做这件事不超过30分钟。我个人非常反感公司把你当备胎，却希望你把公司当女神的做法。虽然我们求职者的确是处于一个比较弱势的位置，而且需要我去kiss ass的时候我也会去kiss ass，但你也得在看得见回报的时候才那么做，否则浪费宝贵精力还增加心理负担。找工作是马拉松，适当放过自己有助于身心健康。

3. 面试阶段
这部分主要分为以下几部分内容：面试前准备，面试中技巧，高频面试题。这些都是根据我自己的面试经验总结出来的内容，仅供参考。


3.1 面试前准备

我面的岗位主要是Machine Learning Engineer，或者偏向ML的Data Scientist。个人觉得需要掌握的基础知识分概率统计，算法和机器学习三大块。

概率统计中需要掌握的是偏向于预测和modeling的内容，以及一些基础概念，而且面试中极度偏向场景中的应用。我的统计基础并不好，因为本职研究数学要求不高，也不存在太多数据处理。所以我选择用网课来快速填充自己的知识空缺。做了这么久的科研，很多时候你不是不知道原理，只是没见过，没听说过，或者不常用这些方法。除此之外我还会看一些case study的面试题。统计类的面试往往是最tricky的，因为它需要你对modeling方法和data有很好的理解。比如说我经常被问到”Linear regression里面，假如feature之间有correlation，对结果有什么影响，该怎么解决“，或者”假如我的training数据label有错，但是你只有有限的人工用来纠错，你怎么做才最有效“， 这一类的问题。

算法的话不用多说，刷leetcode。我刷了400道左右，主要是medium。刷题我个人认为对面大公司帮助比较大，小公司不怎么care，而且很多时候小公司出的算法题都不是leetcode类的，而是更像你在工作中会遇到的类型，反而简单。即使是大公司，我也从来没有遇到过Midium难度以上的题。我猜MLE比SDE对代码能力的要求更低。

. 机器学习，和统计其实是有一定交叉的。面试一般分两类问题。第一类是一些经典的机器学习的方法，例如Linear/Logistic Regression, Tree models, Ensemble models, Clustering, Optimization, Metric, Overfitting, 等等。另一类则是挑一个你简历上ML的经历，让你介绍并且回答关于你选用model的specific的问题，经常和他们做的东西有关。比如NLP就基本上一定会问transformer，LSTM。CV就一定会问CNN，等等。我在准备前一类问题时主要是回归教科书。我看过西瓜书，但觉得写的东西已经有点老了。在实战中我给我帮助最大的书是这本：A high-bias, low-variance introduction to Machine Learning for physicists，这是我校物理系一个老师写的ML方法的综述，也是我们上课时用的教材，重点它是免费的，arxiv上可以直接下载得到，还配套jupyter notebook的例子，包含了你面试时可能遇到的几乎所有经典ML方法。还有一个我觉得帮助我理解一些ML算法帮助比较大的是youtube的 Statquest，讲的东西虽然简单但是可以当作一个查询工具，比wik更直接。

3.2 面试中技巧
这方面地里总结得已经足够多了。这里我就写几条worked for me的。
1. 抱着和陌生人交朋友的心态去面试。保持genuine比较重要。
2. 多和面试官沟通。大声说出自己觉得可能的思路，时不时向面试官要confirmation，比如"Am I on the right track?"，没思路大胆问"Can I get a hint?"。 沉默才是最要命的。
3. 适当示弱，有的时候卡壳了，可以说"sorry I'm a bit nervous"，或者"I'm blanking out a bit"
4. 不要不懂装懂。面试官问知不知道XXX，不知道就乖乖说不知道，一般也不会继续问下去。如果听过名字就强行说知道，那一般都死得很惨。
5. BQ：小公司很少问BQ。我一般都说自己真实的经历。如果强行假装很容易follow up翻车。但是如果你编故事能力很强，那尽管编，亚麻尤其适合这样的。面亚麻时BQ真是搞得我心力交瘁。四轮下来十几个bq。
6. 问你对公司有什么问题。我也不知道什么样的问题会加分。我自己一般只问"do you like your experience in the company" 或者"how do you think about the WLB here"之类这种面试官本人体验的问题，不能加分至少不至于减分。


-baidu 1point3acres3.3 面试题
总结了下各个话题下我遇到过觉得比较有意思或者出现频率比较高的问题。这些题都会结合场景，考验的还是你自己对理论和实践的理解。对于知识性的题，只要能解释得清楚就可以了。

statistical modeling:
What's the problem if logistic/linear regression if the features are correlated? How would you solve this problem?
If you are designing a model for a multi-class classification for XXX data points with YYY features each, how will you do it?
What metrics do you use to evaluate a model? In XXX situation, which one is the best and why?
How to compare models and determine which one is better?
If you have a model that has a 90% accuracy, but we know that some data points are mislabeled unfortunately you only can test a small subset of your entire dataset, which datapoints would you choose to do the test and why?
If we try to create a linear model for a dataset that is generated by y = 0.5x + 0.2t + e1, where t = 0.3x + e2, e1/e2 are gaussian noise, what do you think will be the coefficients of x and t respectively? what if e1/e2 are varying according to x and t?
What is the meaning of the p-value for a weight in the model?
If you want to perfectly fit a function with X datapoints in Y dimensions, how many learnable parameters do you need to have at least?
What can you do if the dataset is very small?
How to deal with data imbalance problem?
We have millions of unlabeled data points from our customers coming in every day, how would you use these data into training your model?
If we have a well trained language model that has a exceeding size, what do you think we can do if we need a model that's 100 times lighter but preserve the performance as much as possible?

Stats的题可以很灵活，而且一般都是case specific，有些根本没有标准答案，只能自己平时多思考，看临场发挥能不能让面试官满意了。

General machine learning:
Explain what is bias and what is variance, and how to reduce bias/variance respectively?
How to reduce overfitting (in XXX circumstances)
Explain gradient descend? Difference between different gradient descend methods?
How do you do hyper-parameter tuning (and what will you do if you only have limited time?)
Explain what is good about Adam optimizer, what are the meaning of betas in Adam?
Methods of dimensional reduction? Choose one that you are the most comfortable and explain.
. 1point3acres.com Methods of clustering? Choose one that you are the most comfortable and explain.
What's different between bagging and boosting? what are the pros and cons? Do you use bagging or boosting in XXX situation?
Explain idea of XGboost?
How do you design a recommendation system?
Why is activation important in Neural Network?
Why does L1-regularization prefers sparse weights and L2-regularization prefers small weight?
Name methods for feature selection and explain how do they help reduce redundant features
What's different between batch norm and layer norm?
What do you do if test data has less features than training data?

NLP:
What's the problem with RNN? (vanishing gradient) why is there such a problem? how to solve such a problem?
What is attention? how do you use it and why is it important?
Methods of pre-trained word embedding?
Describe self-attention and transformer. why is transformer faster than RNN-type model?
How do BERT train word embeddings?
What is positional encoding in Transformer and why use it?
How would you design a ASR system?
Are you familiar with HMMs? how are HMMs used in speech recognition?

5. 心态
我自己是一个心态很差的人，容易杞人忧天，自我怀疑，经常性心态爆炸，对自己的要求又太高。所以这六个月对我太说特别难。对于调整心态，每个人可能都有自己的方法。我觉得这里面最重要的应该有三点。第一点是保持积极的心态，第二点是要懂得move on，第三点是要有长期作战的心理准备。

关于第一点，我们要意识到，找工作的过程中，你99%的时间都是在接受别人对你的judge和负面评价，你要意识到这些负面评价和你的能力背景没有任何关系，所有的拒信只是表明你们不合适。你不会因为路边随便一个人跟你说“我们不合适”而伤心吧？找工作也是一样的道理。尤其是，你申的公司大部分你连名字都没有听过，谁还离不了谁呢。到后来我拿到offer前夕，去面了一个startup，讲到我不认同某些大厂pip文化时，被面试官挑刺说那说明你对公司没有ownership。我回头直接和recruiter讲对不起，I decide to move on to a different direction。搞笑的是他们居然还是给我发了onsite面试邀请。

第二点和第一点其实是相通的。我一开始对每次面试都患得患失，每次面完都要仔细回味细节，看自己会不会在哪个地方好像说错话，一旦发现了就神经紧张，生怕自己哪里不小心踩雷过不了。到后来每次面完就对自己的表现有大概的评价，也对结果有了比较好的预估。如果你不停地dwell在之前被拒的面试中，对你的身心都是非常consuming的。我的方法是每次面试完就给自己找事做，可以是投入到下一次面试的准备中，也可以是其他的任何活动，反正就是让自己不要去想。

最后一点，一鼓作气，再而衰，三而竭。而我们要避免的就是这种情况。我觉得保持一个良好的作息很重要。早睡早起，好好吃饭，锻炼身体。心情好了，身体健康，做事才有效率，脑子转得也快。面试的时候大部分时间还是靠临场发挥，一个好的精神状态很重要。

5. 总结
2020疫情的余波还未退去，赶在这样一个年份毕业注定比往届同学更难。虽然转码的确好上岸，但毕竟不是每个人都适合当码农。我自己的感受就是，如果不纠结于包的大小，找到一个decent的工作还是不难的（可能是因为我在波屯的原因）。如果不想去湾区卷，其实在波屯拿个100k base的包，也挺舒服的，至少比做postdoc的同志们钱宽裕太多了。转DS/MLE对于PhD学生来说跨度比较小，对于忙于科研的PhD比较友好。每天刷两道题，投几份简历，复习一些知识，做好总结反思，不积跬步无以至千里，把这个过程当成是一场修行。这个帖子希望告诉哪些曾经和我一样被焦虑和迷茫所困扰的人，希望你们能避免一些误区，善待自己，保持积极，坚持不懈。只要坚持提升自己和不停地reaching out，你要相信总有一天 offer总会来的。

恭喜楼主~
面试技巧这部分很有共鸣，很喜欢“抱着和陌生人交朋友的心态去面试”这一条。我的个人经验里这样做也很有效：可以让自己的临场表现更放松；可以跟面试官（aka未来同事）产生更personal的connection；也可以帮助自己事后放平心态不那么患得患失。

北辰一 发表于 2021-5-13 01:05
想请问一下转ds/mle 对phd 非统计，非数学，非物理，非金融，非cs相关的专业学生真的友好吗？ 就是博士期间 ...

. .и能做SDE就不要来挤DS了…… 据说SDE机会比DS多很多很多。我个人不喜欢SDE而且又有ML背景才选择的DS……

dennis15 发表于 2021-4-26 13:22
期待楼主思路，另外贴个我搜到的答案

“Theorem 1: There exists a two-layer neural network with Re ...

这道题我的理解是一道纯数学题。我们知道一维情况下用polynomial去完美fit M个点，需要M个参数。更具体地说，是解 f(x_(i)) = y_i，i in [1,M], 其中f(x) = a0*1 + a1*x + a2*x^2 + a3*x^3 ... a(M-1)*x^(M-1). 因为x，x平方，x立方。。。这些项都是线性独立的。因为有M个数据点，所以是M个式子解M个参数a0到a(M-1)。

我当时直觉上以为从一维变成N维的话相当于把一组式子变成了N组，总的式子数量变成M*N个，所以我答的是M*N. 但是后来和朋友讨论以后发现答案还是M。因为虽然你的变量从单个x变成了x1, x2,...xN, 你依然可以选择线性独立的M个polynomial, 比如 x1, x1x2, x1x3, x1x3x4...，然后根据M个数据点写出M个方程，M个方程来解M个参数。所以答案还是M。

恭喜楼主~
以及wow，phd毕业就能是Staff级别

cong，cy

认认真真看完了，发现有一道题好像不会做，就是有一些mislabeled data但只能test一部分的题，应该怎么解呢？

现在各种理科phd都在扎堆挤ML的坑，小硕还凑什么热闹，真不会有人以为美国公司招DS比起理科PHD更value什么stats/DS/BA的ms吧

szhhan 发表于 2021-04-24 13:53:49
现在各种理科phd都在扎堆挤ML的坑，小硕还凑什么热闹，真不会有人以为美国公司招DS比起理科PHD更value什么stats/DS/BA的ms吧

stats/DS 的PhD可以比其他的学科的PhD去更好的公司。硕就不知道了，但我知道我司DS也招硕，只是级别比博低

补充内容 (2021-04-25 05:00 +08:00):
我的看法是很多时候PhD和Master找的position类型不一样，不能放在一起比较。

啥公司上来就给staff

Lihaoqian 发表于 2021-04-24 13:40:56
认认真真看完了，发现有一道题好像不会做，就是有一些mislabeled data但只能test一部分的题，应该怎么解呢？

我的看法是人工抽样test那些“outlier”。考虑到一般情况下每个label占据feature space的一定区域，如果某个区域内大部分都是labelA的点，却个别点出现了其他label，那么这几个就更有可能是mislabeled。我面试时是这么答的，具体有没有标准答案我不知道。

楼主好厉害 恭喜恭喜

石头LBBN 发表于 2021-4-24 15:18
我的看法是人工抽样test那些“outlier”。考虑到一般情况下每个label占据feature space的一定区域，如果某 ...

是个思路，不过这样就取决于Loss function了，这种情况hinge loss可能更适用一些吧，这样svm也可以用起来，好像挺有意思的