一道data science技术面试题 求广泛讨论！

如果发错地方求告知哈 面试里被问过几次类似的问题了 发上来一起讨论！
题目：给一个dataset 200+ observation with binary outcome  300个predictor（都在0-1之间），已知outcome就是用这300个predictor以某种未知的方法generate出来的 给出另外2W+observation（no outcome, only predictors）要我predict p(y=1|x), performance用AUC（ROC）来测

现有思路：
1. traditional logistic regression肯定不行 考虑lasso或ridge 但问题是如何考虑transformation，interaction？
. check 1point3acres for more.2. forward/backward/stepwise selection: 同理，如何考虑transformation，interaction？
3. neural network 这个我自学的 觉得比前两个靠谱点 没在R里做过 等做完来和大家汇报下 但听说也是不能automatically take interaction into consideration? 另#of unit和layers如何选
4. SVM 不太熟 容我去复习

谢谢观看！另外有一起找工作的小伙伴求指点简历+networking！
撒花！*★,°*:.☆\(￣▽￣)/$:*.°★* 。

之前看到过一篇文章 用embedding algorithm对于这类问题处理的效果更好吧
像boosting bagging   random forest 或者是kaggle上经常用的xgboost？

最近正好在处理一个有点像的问题的。我的大概是50 记录 + 40 variables。performance自己定，能解释通就可以。
300 predictors之间有没有 collinearity? binary outcome之间平不平衡？

有collinearity是很头疼的事情，单独lasso和ridge都解决不了，stepwise也不行。我觉得只能有elastic net。但是我自己的data用elastic貌似出现了overfitting。然后是ridge还是lasso的grouped variable。
然后两个outcome不平衡的话，你还需要weight。
interaction的话得自己手动来啊。光说技术的话，R有包可以自动算interaction，不过就是很慢。
然后你可以实现跑一个feature selection算法嘛，降降维。

然后是不需要解释model的话，可以ML算法，或者PCA/MDS先dimension reduction。
neural network/MLP/SVM反正我自己的data跟普通logistic差不多，还特别慢。而且这种ML model比较难interpret啊。
然后我也在想能不能boosting or bagging…

还有就是如果是有背景的，可以利用背景知识解释嘛。

另外要是有跟近求回复，我也在愁…

没看懂，binary outcome为什么大家提各种regression办法

目的是prediction准确 vs 解释性，当然会是不同的approach，不过楼主的题目明确说了需要target AUC
predict为主的话，无论多blackbox都可以，比如RF，一般用这个establish 上限。
下限可以是logistic stepwise的结果，可以先用某些方法做feature的筛选，比如一个个选。
collinear对prediction没有影响，对interpretability有影响
可解释性重要的话，就尽量用简单模型去接近刚刚说的上限。

样本少也一样可以cross validate，来防止Overfit
training data才200， 实测数据2w+这么具体不知道有什么用意，但是p >> n是属于high dimensional data，生物信息里面还挺常见的，比如200个病人，10k个基因表达或者蛋白什么的。

记得之前用过randomforest效果可以
为了Interpret，还做过用hybrid approach，feature selection via RF, but predict via SVM
我当时的数据里面效果是差不多。

啊对 还有neural network有个parameter叫decay 用于防治overfitting 可惜我没学过 有人懂么

你这不是binary classification嘛？为啥要用ridge lasso regression 转换·······

直接考虑SVM，KNN， NB，或者 boosting or bagging with  tree 不是更好····

话说这种高维度的用SVM可能比较好吧

我觉得降维没有啥用。3w+的数据作为样本还是比较小的……然后我记得天奇大神的xgboost和sklearn都有predictprobablity功能。直接输出了分类概率。我觉得基本的svm 、RFC、加个ensemble就可以了。

反正xgboost无脑暴力求解：）nn对于这种问题实际上并没有必要。因为并不知道feature的关系。一管的学习并没有办法好的找到特征空间。 我觉得实际上他给的这个问题贝叶斯方法就能解决……当然我只是一个还在申请的大四狗。可以忽略我的粗浅言论……

observation是只空间维度么……之前没有看清楚题目。如果确实是高维数据那么pca还是可以的。但是如果作为样本空间还是普通大小……tree classifier的综合ensemble。nn在300的空间中学习是非常有限的。vote for ensemble model。namely use xgboost：）gradient boosting tree

y_form 发表于 2016-1-31 00:42
最近正好在处理一个有点像的问题的。我的大概是50 记录 + 40 variables。performance自己定，能解释通就可 ...

我喜欢你的头像！
没有collinearity 平衡 不过没有correlation也用不到pca

jennymeng2003 发表于 2016-2-4 08:56
我喜欢你的头像！
没有collinearity 平衡 不过没有correlation也用不到pca

过了很久…报个进度…我的elastic net提案被老板否决了…
他的建议是先cluster然后一个个attribute建模QAQ 我的问题是寻找适合的attribute，不完全是求accuracy...