Credit card churn model 不能用Lasso 或者linear model?

tianjiayangmike 发表于 2019-5-28 16:39
一般不会用L1做特征选择的，一般都是需要稀疏解 压缩模型的时候用L1
关于L1，楼主可以想一个场景 假设特征 ...

求问大佬 不用L1做feature selection是工业界default吗？如果google 'feature selection with lasso'会出来很多结果啊，包括paper和kaggle project... 困惑。。。

erince 发表于 2019-5-28 15:00
楼主先看看lasso和rigid的定义。考虑L1和L2进model是为了regularization。less improtant的feature系数是否 ...

请问一下 为什么说lasso 跟feature selection没啥关系 如果把lasso把feature系数置0不算feature selection吗？谢谢！

Lasso只是一种regularization的方法，严格来说不能当作模型来讲，这种问题直接先上Logistic Regression，feature太多就加Lasso或者Ridge，效果不好换Tree-based的Ensemble模型。

ecnart 发表于 2019/05/29 02:45:40


请问一下 为什么说lasso 跟feature selection没啥关系 如果把lasso把feature系数置0不算feature selection吗？谢谢！

不算。
有可能这次train的model，系数A是0，下次retrain，系数A不一定为0

因为你predict的范围是0-1.linear regression有时候可能会predict1.1或者负值。那你要如何解释/处理？

xujw07 发表于 2019-5-29 02:02
求问大佬 不用L1做feature selection是工业界default吗？如果google 'feature selection with lasso'会出 ...

我是**= =还没进入工业界
不过我作过的数据竞赛经历里，基本没人用L1特征选择
其次，在上次面试的时候，和人聊过这个问题（他们是做点击率预估的），是面试官说不会用L1做特征选择的，甚至都不会做特征选择(当然具体问题具体分析，CTR这种大规模稀疏特征问题 特征选择意义就不大）

logistic regression名字叫regression 但是实际上是classification的方法 和计量经济学上取log是不一样的

churn如同前面大神所说 一般给的数据也是binary的（0为churn 1不是 这个样子的） 所以本质上还是 classification 并且理想情况下是一个估计概率的问题（区间为0-1）
所以RF等一系列classification的方法都可以用 而linear如果做出来结果大于1就没意义了

可以看一下这些ref：

https://stats.stackexchange.com/ ... tion-for-regression
https://scikit-learn.org/stable/modules/feature_selection.html

Lasso是可以用来做feature selection的。

tianjiayangmike 发表于 2019-5-28 16:39
一般不会用L1做特征选择的，一般都是需要稀疏解 压缩模型的时候用L1
关于L1，楼主可以想一个场景 假设特征 ...

ridge tends to assign similar coefficients to the highly correlated predictors, while lasso tends to be different (and lasso estimators are not unique)
可以这样理解吗

erince 发表于 2019-5-28 15:00
楼主先看看lasso和rigid的定义。考虑L1和L2进model是为了regularization。less improtant的feature系数是否 ...

请问一下lasso为什么不能用来做feature engineering, 他能够把不重要的predictor系数shrink 成~0, 也就是在选better/best features啊。 step wise选出来的应该不是最优解吧，原因好像是bias-variance trade off. Step wise 过于aggressive, 找不到全局最优解和predictor correlation.