关于MLE面试的困惑

因为明年可能就毕业了今年准备找工作，首选MLE然后SWE吧。
可是有个比较困惑的问题就是我听说的MLE面ML知识有两种说法。
一种说是面八股文，比如：
1. What is deep learning?
2. How to detect overfitting and how to prevent it?
3. How many loss functions do you know, what are they, and when should we use them?
诸如此类。

也有人说现在不面八股文了，会问一些具体到paper的问题， 比如：
1. ResNet的细节。
2. Transformer的细节。

因为这两个方向不太相同，准备期间的重点和时间安排也会不一样。所以想请教一下现在在职的MLE们到底是什么个状况。

年初跳槽mle general岗位不是research的 主要以八股文加上应用为主 八股文配合grokking的那个ml design课（ranking feed recommendation ner这些）

因为会扯到nlp 所以聊过tranformer但也就是attention的基本概念 qkv decoder encoder这些简单的。。

baca 发表于 2022-07-26 14:32:38
双塔是谷歌一篇发的paper里边的模型，基本现在是业界模板了。Parameter serving是深度学习模型如果部署进production, 参数存在哪里属于偏工程的问题。具体的可以自己搜一搜，都是

对 其实这些考察的还是对于ml model的理解和business case的结合 能不能活学活用 ml基础就那些 但是面试时脑子要灵活一些 不好套的时候找别的办法转化一下就套上了。。

另外建议楼主除了那些课 有些公司自己发出来的paper或者blog也可以看看 linkedin engineering上面有一些linkedin自己的paper meta也有类似的 都是基于她们公司自己的business problem用比较常见的ml技术去解决的 看一看对ml design面试帮助很大。。

chaofan 发表于 2022-7-26 13:08
想请教下几个问题。没面过MLE，但是Grokking ML system design那课基本看完了。请问面的时候是不是给定to ...

1. 不少面试者复述的本事都没有
2. 你复述的时候我们可能会中断你的节奏问你一些what if的问题
3. 具体题目肯定跟课上的topic不会完全相同，需要你根据具体的题目给出方案，如果硬拗的话轻则被频繁打断，重则被judge经验不足/沟通不行/背题

zpinthehouse 发表于 2022-7-26 11:16
年初跳槽mle general岗位不是research的 主要以八股文加上应用为主 八股文配合grokking的那个ml design课（ ...

感谢回复。
应用部分，我理解的是面试官给你一个问题让你设计一个ML系统然后讨论细节，不知道理解的对不对。
然后应届生会不会不倾向考这种偏system的呢？

Cky007 发表于 2022-7-26 11:32
感谢回复。
应用部分，我理解的是面试官给你一个问题让你设计一个ML系统然后讨论细节，不知道理解的对不 ...

如果是非应届的话一般两轮，一轮是ml concepts 一轮是ml design，对于应届生来讲应该只有ml concepts一轮。当然不排除会问到一些design问题，这个全看面试官心情，不过对于应届生重点还是放在考察基础知识上。你说的模型细节其实也属于ml八股文的一部分吧，都算基础知识。只是有的公司问的会偏向于比较classic的，像lr gbdt啥的，有的会偏向deep learning，有的公司则是根据你的简历问你擅长的领域的知识，所以对于自己简历上所有ml相关的东西，要么必须能dive deep，要么就不要写。

都会问啊，你觉得可能是八股准备了答案，我特别喜欢根据你的回答追问一些细节，毕竟怎么prevent  overfitting现在连小学生也许都能扯两句。
另外你的简历里写的东西会问，很多面试官经历丰富很多任务都做过，碰上熟悉的问题就会问细节。

sx910604 发表于 2022-7-26 09:11
都会问啊，你觉得可能是八股准备了答案，我特别喜欢根据你的回答追问一些细节，毕竟怎么prevent  overfitti ...

对所以简历里的project也可以往八股文相关的方向靠 比如evaluation metric imbalance overfitting这些 有时聊着聊着project就把八股文问了。。

Cky007 发表于 2022-7-26 08:32
感谢回复。
应用部分，我理解的是面试官给你一个问题让你设计一个ML系统然后讨论细节，不知道理解的对不 ...

应该说是偏design的 ML design其实本质上是business sense 怎么把一个business问题转化成ML问题 考虑哪些情况 怎么收集数据 用哪些feature 怎么设计模型 tradeoff 其实不太涉及很多system相关的知识 大概了解latency consistency这些概念就可以。。具体面不面看公司 我知道亚麻的AS new grad也要面一轮ML application。。我是觉得学一下这些没坏处 而且最基本的推广搜其实都是ML很好的应用场景 能帮你更好的了解那些知识怎么用。。

大大小小也少说面了10+轮的ML轮。大体都是根据公司的业务衍生出来的问题，不求特别fancy 前沿的模型，但是基本框架和思考要是对的。结构真的就是follow Grokking ML system design那本书的架构就可以了。当然也有考细节某一部分模型design的，如果team对于experience有要求，考也无可厚非。答不出来说明不是特别fit, 也不用太在意。

当然其他一些小的topic不在Grokking ML system design系统里也有不小概率考，比如fraud detection, location-based modeling, map and ETA (Uber, lyft, doordash), marketing churn&subscription之类的。

什么都会问，从linear regression 细节到nn attention transformer

还会问很多practical细节，属于工作中不碰到很难有经验的，不过应届生不一定问这个

很难呀

zpinthehouse 发表于 2022-07-26 09:19:06
对所以简历里的project也可以往八股文相关的方向靠 比如evaluation metric imbalance overfitting这些 有时聊着聊着project就把八股文问了。。

不知道八股都包含什么，说的好像有个提纲然后会看简历往上靠这样。。。就看你做过什么会问相应的技术细节，防止你是个掉包侠或者搭了个顺风车。我常问的问题是为什么用这个技术over其他，这个工作最大的困难是什么，甚至写一两句公式，比如bceloss