关于Random Forest Feature Selection的问题

各位大佬好，近期在做一个关于machine learning的project，再用random forest，xgboost一类的model（classification），想请教大家一下关于feature selection的问题，像random forest这些模型都会有feature importance这样的功能, 但是当model的hyper parameter不一样的时候，模型会给出得到feature importance就会很不一样，打个比方，如果hyperparameter 导致模型 overfit的时候，feature importance会有一个bias to continuous variable importance, 当hyperparameter 导致模型underfit的时候 importance会bias to dummy variable，但是hyperparameter tuning不应该是在feature selection之后才进行的吗？那么怎么样选择hyperparameter能够得到一个比较靠谱并且稳定的feature importance呢？或者有什么更好的方法来做feature selection呀？求各位大佬解答TuT

学习了，很有用

GalaxyDream87 发表于 2019-6-1 04:22
并不是大佬😂…best-performing选hyperparemeter的话是in-sample。bootstrap就是随机抽样。比如总 ...

但是如果选insample performance最好的hyperparameter，肯定是譬如说leafSize = 1，每一个tree都是fully grown，极其overfit，这样不就很难选到那些discrete variable吗？我把gain和impurity搞混了TuT，那能请教一下gain和impurity decrease的区别吗？我记得xgboost里的feature importance get score，就可以选择是gain或者impurity，但是两者结果大相径庭，还有这个permutation importance，我之前看到过，out of bag permutation importance，想问问大佬，以你的经验来看，一般会用哪种方法来选择feature呀？真的谢谢这些宝贵的建议！！！

GalaxyDream87 发表于 2019-6-1 03:47
用best-performing model 的hyperparameter，train完后的feature selection用10次bootstrap，对impurity de ...

大佬你好，如果是best performing model的话，指的是insample的best performing吗？还是指的是validation set best performing model呀？feature selection bootstrap具体是什么意思呀，小白不太懂，关于importance的求法，我也想问问一般来说impurity decrease和split use frequence哪一个会更合适一些呢?谢谢大佬的意见！！

用best-performing model 的hyperparameter，train完后的feature selection用10次bootstrap，对impurity decrease（我假设你是用的这个方法来求importance的，因为你提到了那个bias的问题）取均值和standard deviation。

mikewzw 发表于 2019/06/01 03:53:34


大佬你好，如果是best performing model的话，指的是insample的best performing吗？还是指的是validation set best performing m...

并不是大佬😂…best-performing选hyperparemeter的话是in-sample。bootstrap就是随机抽样。比如总数1000个sample，就随机有放回的抽1000个，最后大概会有1/3从没被抽到过。所以每次bootatrap的样本都是不同的但distribition相同。每次用bootstrap的data去train然后做feature importance analysis，结果会稍有差别。多次后取均值和standard deviation主要是用于解决你提到的不确定性的问题。你说的split use frenquence感觉和我说的impurity decrease感觉是一个东西，因为被一个feature被选中并且split的次数多，那么由于他造成的impurity decrease就会大。有一个没有bias的方法是permutation importance，这个方法计算量大一些。希望能帮到楼主～

补充内容 (2019-6-1 04:23):
有个typo：应该是“一个 feature 被选中”

mikewzw 发表于 2019/06/01 04:31:08


但是如果选insample performance最好的hyperparameter，肯定是譬如说leafSize = 1，每一个tree都是fully grown，极其overfit，这样不就很...

不客气，我以为你说的in-sample是traing set被split成train和validation之后在validation上的performance，我可能理解错了。应该是cross validation在training set上的performance（应该就是你说的validation set上的performance）。gain和impurity的效果上的区别我没有啥印象，周志华的西瓜书里有讲这俩，给我的感觉只是公式不同而已，貌似都有你说的那个bias。out of bag的最好，就是计算更耗时而已。xgboost包里可能不包含这个选项，我记得有个包专门算permutaion importance的（google搜python permutation impirtance）

hyperpara tuning是不是在validation 上找最好的performance？ 那应该是tuning 在 feature selection 前啊。

常见问题中 尤其是 treebased的model， 一般都是feature挖的不够，扔几个没用的影响也不大。但如果说是想基于模型推业务的话， 可以试试 把feature importance高的特征替换为该feature均值，看对最后score的Δ，个人觉得这个方法比feature importance靠谱

常见问题中 尤其是 treebased的model， 一般都是feature挖的不够，扔几个没用的影响也不大。但如果说是想基于模型推业务的话， 可以试试 把feature importance高的特征替换为该feature均值，看对最后score的Δ，个人觉得这个方法比feature importance靠谱