【新人求大米】机器学习知识面试前的Check List

Books： 1. 动手学深度学习
2. 统计学习方法
3. 深度推荐学习
4. 机器学习-西瓜书

Papers:
1. Self-Attention is All you need
2. Position Encodin
3. Tokenizer
4. BERT
5. ROBERTA
6. Info-XLM
7. Transformer XL
8. XLNET
9. XLM
10. XLMROBERTA
11. ALBERT
12. DSSM
13. Adapter
14. Knowledge Distillation
15. TINEYBERT
16. MiniLM

Algorithm:
1. Logic Regression
2. K-means
3. SVM
4. KNN
5. 贝叶斯
6. 决策树
7. 条件随机场
8. GBDT
9. XG Boost
10. LightGBM
11. 集成学习
12. 优化算法
13. 激活函数
14. 模型初始化
15. 模型评估
  a. F1, Macro-F1, Micro-F1
  b. Precision, Recall
  c. AUC
  d. NDCG
16. Loss函数
17. LSTM
18. GRU
19. Word2vec
20. Fast Text
21. Text CNN
22. Seq2seq
23. TFIDF
24. BM25
25. Lambda Mart
26. 强化学习
27. SVD and PCA
28. KDTREE, ANN, 局部敏感hash
29. FGM

Technique:
1. Overfitting
  a. Drop Out
  b. Layer Normalize
  c. Batch Normalize
  d. Increase Data
  e. Rest Net
  f. LSTM
  g. Weight decay
  h. Parameters initialize
  i. Early Stopping
  j. 梯度裁剪
2. Underfitting
  a. Increase parameters
  b. Reduce learning rate
  c. Reduce L2 parameter
3. Model compression
a. L1与L2正则
b. 偏差与方差  
c. Data Unbalanced
  a. Focal loss
d. 知识蒸馏                                                                                                                                                                                                                                                                                                                                                                                                                                 
e. 分布式训练
  a. 单机多卡
  b. 多机多卡
f. 熵，交叉熵，相对熵


QA:
1. Text CNN how it works?
2. Transformer why divide by sqrt(dimension dk) for QK when do scaled dot-product attention,  this leads to having more stable gradients
3. Transformer positional encoding? In order for the model to make use of the order of the sequence, we must inject some information about the relative or absolute position of the tokens in the sequence.
4. Why multi-head? Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions
5. Self-attention核心思想
6. 多语言模型预训练的objective，多语言模型的核心思想

问面试官的问题:
1. 部门的商业目标，最大挑战是什么
2. 技术氛围
3. 岗位的发展前景，晋升目标，职业发展方向
4. 职业规划
5. 工作节奏
6. 竞争优势

有点堆砌知识点的感觉，面试时候主要考察的是深度而不是广度吧，一般人有三分之一的内容精通就很不错了。很多东西平时用不到，时间久了学了也会生疏，不值得浪费时间去记。

只有width没有depth用处不大，没有几个职位会覆盖面那么大。说起来可笑，很多人面试扯半天CNN，LSTM经历结果问个最基础的linear regression往深了点问就歇菜，只有很junior的职位才会抡一堆概念跟ML算法要你解释，更多的是考察实际场景中的运用比如ML Design，能够深入分析算法优劣和适用场景远比花一大堆的时间去了解浮在表面上的概念要有用

MatthewGJFB 发表于 2021-1-30 09:04
NewGrad 不会的，挑选部分general的知识

可以把general部分摘出来吗，
要是能再做一个computer vision的list就更好了。
已在一楼加米！

楼主好全面啊 但是一个岗位不会全部用到所有这些 还是要看碟下菜

ChandlerTen 发表于 2021-1-29 15:47
楼主好全面啊 但是一个岗位不会全部用到所有这些 还是要看碟下菜

这些基本都是NLP/搜索/推荐方向面试会被问到的内容

谢谢楼主分享!!

谢谢分享。。。。

new grad面试也会问这么全吗？

LittleSoap 发表于 2021-01-29 12:30:05
new grad面试也会问这么全吗？

NewGrad 不会的，挑选部分general的知识

虽然我是学硬件的，这个之后是不是也用的到？

可以把general ML的部分摘出来吗