机械学习中的特征选择

本人大四，拿过15+的高低阶统计课程了.对机械学习统计模型方面很感兴趣，打算以后也往这个方向发展.
在之前做课程project的时候，遇到了一个问题一直没有搞明白，看到论坛数据学习的讨论，想问一下各位前辈.
不一样的特征选择方法（LASSO，随机森林，向前/向后选取法等）在相同数据集上会选出不一样的重要特征（对于预测模型）
比如 LASSO 选择了 x1，x3，x4，x5
随机森林选择了 x2，x1， x3， x8
基于两种不同的特征选择结果，我该如何选取对预测最重要的特征？

(之前我是尝试不一样的组合，看在测试集上算出的错误率，但感觉效率比较低)
是否有可以判断的标准呢
. From 1point 3acres bbs

首先看两个model的test performance。如果一个比另一个明显好，就用好的那个。如果两个差不多，推荐选择lasso （奥卡姆剃刀）。

另外，tree model的feature importance选择也有不同的methods。可以仔细研究下。

这个问题和所有别的统计问题一样，回答就是：it depends。但是根据我的经验，rule-of-thumb就是：never use forward/backward selection unless that's the only method allowed; random forest > LASSO

LASSO在理论上是可以证明具有所谓Oracle Property的，但是这仅限于linear model。在实际应用当中没人可以肯定the true underlying model就是linear，所以这个Oracle Property也无从谈起。大量的empirical evidence说明random forest / gradient boosting是在没有额外的信息是最优的model。