注册一亩三分地论坛,查看更多干货!
您需要 登录 才可以下载或查看附件。没有帐号?注册账号 
x
本帖最后由 小K 于 2010-4-11 08:00 编辑
非常非常general的一个问题。
有一个连续 response variable Y,全是正整数,从0到大几千都有,非常非常skewed to the left,因为有大概1/3的数据=0。
若干个predictor variable X,有连续有离散。连续的大部分是正态分布。
样本点足够的多,足够计算所有pairwise 2-way interactions。当然 3way就不行了。. From 1point 3acres bbs
现在想看什么变量可以predict这个response。
. .и
我尝试了如下方法,帮忙看看有什么遗漏的没有?
1。transformation看能不能把 Y 弄的稍微不那么skewed,然后用linear model,结果无论怎么变换,什么奇怪函数都用了,还是无法解决那么一大部分的0。
2。tobit regression
3.1。尝试取某个cutoff, dichotomize Y,然后logistic regression
3.2。尝试用一定的cutoff组,categorize Y into >=3 classes,然后用ordinal or multinomial logistic regression。如果用ordinal,要检验proportional odds assumption是否成立。-baidu 1point3acres
以上2条都是:用AIC/BIC/bootstrap 做model selection
用ROC做prediction rule。用AUC, sensitivity, specificity衡量predictor好坏。但是在multi-class situation,AUC/ROC稍微复杂点。也不怎么直观。
建立predictor以后,把data划分成2部分,一个training 一个test,来验证结果。.--
4。直观观察数据是否有visible separation for different Y values: PCA, heatmap, hierarchical clustering
5。因为是n>>p,好像传统的machine learning方法没有什么用武之地,如SVM, KNN, RF, PAM等等。. ----
还有什么可以做的没? |