碰到的DS面试model training方面经常问的问题和解答

DS面试，关于model training方面，大家喜欢问到几个方面的问题。总结在下面，也欢迎大家一起讨论。另外求大米～～～

Train classification model的时候：
1. train data 非常的skew。要怎样做才能train出好的model？
   - balance training set by oversampling or downsampling
   - throw away minority class and use anomaly detection framework
  
2. 假设已经有了train好的model，来了新的data。new data is very different from the data used for training. Which means the existing model most likely not performing well on the new data. 有什么方法能够不retrain the model, 但是得到好的prediction results？
    - incrementally update the model
    不知道还有什么好的方法？

3. 当model perform well on validation set, but not well on testing set. what might be the reasons?
    - distribution of testing set is different from training set
    - overfit

想请问楼主 classification的training data skew是类似imbalanced的意思吗？这样是不是stratified sampling也可以有帮助？其实类似你说的第一项？

Lenin 发表于 2019-5-19 05:59
想请问楼主 classification的training data skew是类似imbalanced的意思吗？这样是不是stratified sampling ...

是imbalanced的意思。
. 1point 3 acres应该stratified sampling也能够help。主要是保证training set不会出现no instance (or no sufficient instance) of minority class 的情况。

第二个问题，一个思路是continual learning，避免catastrophic forgetting

第二题也可以reinforcement learning吧

补充内容 (2019-6-5 04:31):
如果数据够多，可以train dnn with batch normalization可以handle covariance shift

补充内容 (2019-6-5 04:40):
on another thought, bayesian methods should work as well?

第二题interviewer的想法应该是想你回答再嵌套一个regression，把新数据用旧model的run出来的预测结果当成x, 新数据的label就是Y。 ARIMAX之类的思路。