📣 Back to School开学季 - VIP通行证5折优惠!蓝莓、Offer多多同步优惠
查看: 4921| 回复: 1
跳转到指定楼层
上一主题 下一主题
收起左侧

帮忙看个统计/Data mining应用题吧

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
本帖最后由 小K 于 2010-4-11 08:00 编辑

非常非常general的一个问题。
有一个连续 response variable Y,全是正整数,从0到大几千都有,非常非常skewed to the left,因为有大概1/3的数据=0。

若干个predictor variable X,有连续有离散。连续的大部分是正态分布。
样本点足够的多,足够计算所有pairwise 2-way interactions。当然 3way就不行了。. From 1point 3acres bbs

现在想看什么变量可以predict这个response。

. .и
我尝试了如下方法,帮忙看看有什么遗漏的没有?

1。transformation看能不能把 Y 弄的稍微不那么skewed,然后用linear model,结果无论怎么变换,什么奇怪函数都用了,还是无法解决那么一大部分的0。
2。tobit regression

3.1。尝试取某个cutoff, dichotomize Y,然后logistic regression
3.2。尝试用一定的cutoff组,categorize Y into >=3 classes,然后用ordinal or multinomial logistic regression。如果用ordinal,要检验proportional odds assumption是否成立。-baidu 1point3acres

以上2条都是:用AIC/BIC/bootstrap 做model selection
用ROC做prediction rule。用AUC, sensitivity, specificity衡量predictor好坏。但是在multi-class situation,AUC/ROC稍微复杂点。也不怎么直观。

建立predictor以后,把data划分成2部分,一个training 一个test,来验证结果。
.--

4。直观观察数据是否有visible separation for different Y values: PCA, heatmap, hierarchical clustering

5。因为是n>>p,好像传统的machine learning方法没有什么用武之地,如SVM, KNN, RF, PAM等等。. ----

还有什么可以做的没?

上一篇:CS转Statistics靠谱不...
下一篇:统计难还是计算机难?
🔗
 楼主| modifiedname 2010-4-14 22:52:20 | 只看该作者
全局:
踢上来。。。。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表