DS面试 ML要掌握到什么程度？Logistic regression为例

在准备亚麻的DS 面试，想问一下关于ML部分，对于一个model，要掌握到什么程度才可以？
比如说logistic regression，
我的思路是
1. 先解释model 的作用，用于dependent variable是categorical的时候的regression
2. Assumptions有：linear relationship between the logit of the outcome and predictors, no extreme outlier, no multicollinearity.3. 如何find the best fit？用MLE，找到log likelihood最大的fitting line，loss function是
4. 具体如何找？得到loss 后，计算gradient，用gradient decent的办法 一步一步upgrade model，最后得到稳定的参数，找到最优的模型

请问上面有遗漏或者错误的点吗？求大家指正

Some extra points might need to be considered:

1. L1, L2 penalty
2. model evaluation metrics: AUC, ROC, Precision, Recall, F1-score, etc.
3. Data imbalanced issues and how to handle them
4. What about if you have more than two classes <- use softmax regression or 1 vs. all
5. How to do large-scale logistic regression <- stochastic gradient descent (online updating), mini-batch, distributed computing.
etc.

补充内容 (2021-3-17 23:47):
还有，在Imbalanced Data的情况ROC curve不适合作为evaluation tool，要看precision-recall curve

https://stats.stackexchange.com/ ... -imbalanced-dataset

补充内容 (2021-3-17 23:52):
https://towardsdatascience.com/s ... d-data-281cc01da0a8

https://www.kaggle.com/lct14558/ ... d-not-use-roc-curve

补充内容 (2021-03-18 18:04 +8:00):
BTW，说起Categorical Feature，有一个东西叫做Feature Hashing。不过这种高级的东西应该不会考。有兴趣的可以看看这个hhh

https://www.youtube.com/watch?v=XelrzDtEnPY&ab_channel=PyData

如果lz学有余力，可以看看The Elements of Statistical Learning中跟logisitc regression相关的章节。
从面试的角度，logisitc regression和linear regression这俩问题就可以问出不同的花样，有时候在面deep learning的时候，也会涉及一些logisitc regression的问题，问题角度取决于职位和面试官的喜好。很多时候准备起来也比较杂。除了书本上的知识，很多内容也是日常工作的积累，不太有面经。

类似的问题可以是

• 如何跟non-tech的人解释logisitc regression？
• 可以直接用Linear regression做分类么？logisitc regression做分类比起linear regression有什么优点？
• objective function是啥，怎么优化的？楼里的同学提到了牛顿法，lz提到了梯度法，这些方法的优劣是啥？
• lz提到了categorical的情况，怎么处理？
• 关于linear regression的几个assumption，lz也都提到了，实际面试中确实很少问到，除非是非常偏统计的
• objective function（loss）和evaluation metrics（AUC等）有啥区别？
• 楼里的同学提到了regularization，解释一下为啥要做这个，以及不同的方法有啥区别？
• logisitc regression跟其他分类器相比有啥优缺点？一般认为，logisitc regression的可解释性比较好
• 楼里的同学提到了判定0-1的threshold（默认是0.5），这个也算是个hyperparameter吧，实际项目中如何确定threshold?
  

补充几点，个人愚见：
1、不同model的优劣比较（为什么选择A而不选择BCD等）；
2、model的metric调优思路（比如分类问题提升auc的方法等）；

补充一点 如果碰见imbalance class 你的threshold应该怎么调？

nihw 发表于 2021-3-17 21:59
补充一点 如果碰见imbalance class 你的threshold应该怎么调？

请问是指 p>threshold 判为正或者负？
什么场景下需要具体的threshold呢？

daisyramsyuk 发表于 2021-3-17 22:57
请问是指 p>threshold 判为正或者负？
什么场景下需要具体的threshold呢？

我上次的回答是 用ROC curve来看，logistic regression用的default threshold是0.5 那是对balanced classs, 如果是imbalanced就不能用了

Logistic Regression 不是用 newton raphson method 的吗？为什么要用 gradient descent 啊？

w3e4NB 发表于 2021-03-17 08:49:37
Logistic Regression 不是用 newton raphson method 的吗？为什么要用 gradient descent 啊？

大数据可以用quasi newton method 比如L-BFGS

亚麻的面试DS更偏向SQL/分析/ab test吧 吗？...

川川唔 发表于 2021-3-18 00:47
亚麻的面试DS更偏向SQL/分析/ab test吧 吗？...

刚面完第一轮phone，没问python和sql，只问了ML和BQ，可能也是case by case吧