机器学习八股文（三）以及一些准备建议

传送门：
https://www.1point3acres.com/bbs/thread-713903-1-1.html  一
https://www.1point3acres.com/bbs/thread-714090-1-1.html  二

Again这是面经整理，不是全面的知识点整理。

面经范围仅限楼主自己扒到的帖子..剔除了一些我觉得过于少见的题目..


欢迎大家把自己的答案贴在回复里..

5. implementation 、推导类
写代码实现两层fully connected网络
手写CNN
手写KNN
手写K-means
手写softmax的backpropagation
给一个LSTM network的结构要你计算how many parameters
convolution layer的output size怎么算? 写出公式
       
6.项目经验类
训练好的模型在现实中不work,问你可能的原因
Loss趋于Inf或者NaN的可能的原因
生产和开发时候data发生了一些shift应该如何detect和补救
annotation有限的情況下你要怎麼Train model
假设有个model要放production了但是发现online one important feature missing不能重新train model 你怎么办

7. NLP/RNN相关
LSTM的公式是什么
why use RNN/LSTM
LSTM比RNN好在哪
limitation of RNN
How to solve gradient vanishing in RNN
What is attention, why attention
Language Model的原理，N-Gram Model
What’s CBOW and skip-gram?
什么是Word2Vec， loss function是什么， negative sampling是什么

8. CNN/CV相关
maxpooling， conv layer是什么, 为什么做pooling，为什么用conv lay，什么是equivariant to-translationa, invariant to translation
1x1 filter
什么是skip connection
（楼主没有面任何CV的岗位之前所以基本没收集到什么CV相关的问题）

=========================
9. 关于准备考ML 概念的面试的一些建议

1. 如果你简历上提到了一个模型，请确保你对这个模型有着深入全面的了解 （比如很多人可能简历里都提到了XgBoost，但是可能了解并不全面）

举个例子，我简历上提到了Graph Convolutional NN， 我面试的时候就被要求不用包手写一个简单的GCN。

2. 如果job description上提到了某些模型，最好对这些模型也比较熟悉。

3. 对你这个组的domain的相关模型要熟悉。

比如，你面一个明确做NLP的组，那么上述面经就过于基础了。
你或许还要知道 What is BERT， explain the model architecture；what is Transformer model， explain the model architecture；Transformer/BERT 比LSTM好在哪；difference between self attention and traditional attention mechanism；或许你还要知道一些简单的做distill的方法..或许根据组的方向你还要知道ASR, 或者Chat bot等等的方向的一些widely used的模型或者方法。
比如你面一个CTR的组，或许可能你大概至少要稍微了解下wide-and-deep
比如你面一个CV-segment的组，你或许可能要了解DeepMask，U-Net...等等..

你应该不一定需要知道最SOTA的模型，但是知道那些最广为运用的模型或许可能是必要的。这是我的想法，不一定正确。


最后最后 还是希望大家能多多回复一些你们收集到的 高频 的面经。

以及你们的对于某个问题的答案的想法。大家一起讨论。



       

看完了三个帖子，我学废了。
学习完了八股文之后还要学习推到还要学习算法还要学习case study
从开始到放弃

qldx 发表于 2021-02-09 20:42:50
非常感谢楼主，前两个帖子里的东西我多少还熟悉一些，深度学习与NLP实在是没基础，看了就忘，并且深度学习里的公式太过于繁杂，RNN公式一看就忘

不知道楼主NLP的部分是如何建立知识框架的，自己很想

公式看了就忘： 我目前的工作有在使用lstm based的模型，但是让我默写公式我不一定能写得完全对。如果我写对了那一定因为我面试前特地背了下。

但另一方面，虽然可能日常记不住公式，但是我想一定要清楚公式背后的intuition。  比如你要知道核心是gate mechanism，可能你记不住有哪些门，但是你要知道有门。  又比如你要知道有memory cell，cell这个通路是lstm解决梯度消失的核心之一。   那么总结来说，平时的话我或许并不要求自己记住公式具体怎么写，但是我至少知道公式背后的含义。   

要建立一个知识框架，最好还是上课吧？...

"The best time to plant a tree was 20 years ago. The second best time is now."

楼主带善人

小南衣 发表于 2021-2-10 09:45
看完了三个帖子，我学废了。
学习完了八股文之后还要学习推到还要学习算法还要学习case study
从开始到放 ...

言重了。掌握高频的、基础的就可以了，其他的不需要面面俱到。

非常感谢楼主，前两个帖子里的东西我多少还熟悉一些，深度学习与NLP实在是没基础，看了就忘，并且深度学习里的公式太过于繁杂，RNN公式一看就忘

不知道楼主NLP的部分是如何建立知识框架的，自己很想建立框架以应付可能的面试，但实在无从下手

mark一下，谢谢楼主的总结！

mark 一下，谢谢总结

mark一下 谢谢楼主！

楼主整理的非常全面, 必须赞一个！
请问这个题有什么好的答题思路吗？“假设有个model要放production了但是发现online one important feature missing不能重新train model 你怎么办”