DS面试 ML要掌握到什么程度？Logistic regression为例

w3e4NB 发表于 2021-3-17 23:49
Logistic Regression 不是用 newton raphson method 的吗？为什么要用 gradient descent 啊？

牛顿法可以求数值解，但matrix manipulation算起来比较费劲
用 gradient descent 算起来比较快，参见The Elements of Statistical Learning的解释

如果lz学有余力，可以看看The Elements of Statistical Learning中跟logisitc regression相关的章节。
从面试的角度，logisitc regression和linear regression这俩问题就可以问出不同的花样，有时候在面deep learning的时候，也会涉及一些logisitc regression的问题，问题角度取决于职位和面试官的喜好。很多时候准备起来也比较杂。除了书本上的知识，很多内容也是日常工作的积累，不太有面经。

类似的问题可以是

• 如何跟non-tech的人解释logisitc regression？
• 可以直接用Linear regression做分类么？logisitc regression做分类比起linear regression有什么优点？
• objective function是啥，怎么优化的？楼里的同学提到了牛顿法，lz提到了梯度法，这些方法的优劣是啥？
• lz提到了categorical的情况，怎么处理？
• 关于linear regression的几个assumption，lz也都提到了，实际面试中确实很少问到，除非是非常偏统计的
• objective function（loss）和evaluation metrics（AUC等）有啥区别？
• 楼里的同学提到了regularization，解释一下为啥要做这个，以及不同的方法有啥区别？
• logisitc regression跟其他分类器相比有啥优缺点？一般认为，logisitc regression的可解释性比较好
• 楼里的同学提到了判定0-1的threshold（默认是0.5），这个也算是个hyperparameter吧，实际项目中如何确定threshold?
  

楼里干货满满，谢谢各位大佬。

经常看到说L1 regularization有选择变量的功能， 这个功能是一定的吗？就是说如果loss=L+lambda*||系数||_1,  并且training足够长的时间，则一定会有某些系数得到0值，还是说只是有很大的可能性某些系数得到0值？

我当年面g家l4 ds的经验是，拿本islr把除了svm的部分以外吃透就正正好，再加更多deep learning的深入理解没必要（当然也没坏处），再少点没吃透就容易应付不来。

蹲一下 乾貨滿滿