亚麻OA求砸,面经神衣护体!


一亩三分地论坛

 找回密码
 Sign Up 注册获取更多干货
天天打游戏、照样领工资、还办H1B
这份工作你要不要?
把贵司招聘信息放这里
查看: 633|回复: 10
收起左侧

[统计生统] classification问题。。。

[复制链接] |试试Instant~ |关注本帖
xingzhui222 发表于 2014-4-7 14:25:05 | 显示全部楼层 |阅读模式

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?Sign Up 注册获取更多干货

x
**在做一个小课题。。。
. 涓浜-涓夊垎-鍦帮紝鐙鍙戝竷
假设Y是binary,现在有10W样本,但是只有500个Y是1,其他都是0.. from: 1point3acres.com/bbs
现在想做classification...
. 1point 3acres 璁哄潧
但是现在问题是,最普通的naive estimator,Y == 0 可以达到99.5%的准确率。 就算模型对training set有100%的正确率,也只比naive的常量估计高了差不多1%。

一般这种问题,需要预先对数据稍微处理么?还是依然可以用logistic之类的直接去做。因为目标主要是要classify,不是很在乎interpretation。但是试了一些模型,如果数据不经过任何处理,基本上和naive的精确度差不多(在test set上有些还不如naive的),或者像random forest直接就给出和naive一样的估计。

我觉得这种问题应该比较常见吧?一般的处理方式是什么呢?

恳求各位大神的意见。
hyper8866 发表于 2014-4-7 17:02:03 | 显示全部楼层
遇到同样问题 ,. 1point3acres.com/bbs
我在想 是不是可以给500个样本加weight 让算法尽量分对他们
你那个99.5 估计是都分成0了 没什么用吧
回复 支持 反对

使用道具 举报

annimal 发表于 2014-4-10 21:55:06 | 显示全部楼层
https://d396qusza40orc.cloudfron ... lides/Lecture15.pdf
. Waral 鍗氬鏈夋洿澶氭枃绔,
machine learning 这章有说道这个问题
回复 支持 反对

使用道具 举报

mlq90103 发表于 2014-4-10 23:16:21 | 显示全部楼层
楼主可以看下upsampling, downsampling, 或者通过调整ROC得判别点,这是比较general的方法,applied predictive modeling的书里有介绍,不记得那么多了。。

最近上课教授介绍了他们最新研究成果,解决class imbalance的问题,叫alpha-tree,你可以查下,有R包
回复 支持 反对

使用道具 举报

dennis_szsy 发表于 2014-4-11 00:41:39 来自手机 | 显示全部楼层
分类器可以用AUC来比较吧,但这个方法貌似有缺陷
回复 支持 反对

使用道具 举报

 楼主| xingzhui222 发表于 2014-4-11 02:36:23 | 显示全部楼层
. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴
嗯,没什么用。。。
回复 支持 反对

使用道具 举报

 楼主| xingzhui222 发表于 2014-4-11 02:36:50 | 显示全部楼层
annimal 发表于 2014-4-10 21:55 . from: 1point3acres.com/bbs
https://d396qusza40orc.cloudfront.net/ml/docs/slides/Lecture15.pdf

machine learning 这章有说道这个 ...

好嘞,我看看哈。谢谢啦。
回复 支持 反对

使用道具 举报

 楼主| xingzhui222 发表于 2014-4-11 02:37:04 | 显示全部楼层
mlq90103 发表于 2014-4-10 23:16
楼主可以看下upsampling, downsampling, 或者通过调整ROC得判别点,这是比较general的方法,applied predic ...
.鏈枃鍘熷垱鑷1point3acres璁哄潧
感谢感谢。
回复 支持 反对

使用道具 举报

 楼主| xingzhui222 发表于 2014-4-11 03:11:23 | 显示全部楼层
mlq90103 发表于 2014-4-10 23:16
楼主可以看下upsampling, downsampling, 或者通过调整ROC得判别点,这是比较general的方法,applied predic ...
. 1point 3acres 璁哄潧
你推荐的这本书给了我不少启发,太赞了!!!
回复 支持 反对

使用道具 举报

mlq90103 发表于 2014-4-12 11:51:08 | 显示全部楼层
xingzhui222 发表于 2014-4-11 03:11
你推荐的这本书给了我不少启发,太赞了!!!

书中的图都有相应的code,网上应该能找着,比书中给的全一点
多多交流~
回复 支持 反对

使用道具 举报

 楼主| xingzhui222 发表于 2014-4-13 09:47:47 | 显示全部楼层
mlq90103 发表于 2014-4-12 11:51
书中的图都有相应的code,网上应该能找着,比书中给的全一点. from: 1point3acres.com/bbs
多多交流~

嗯,这书和理论的书结合起来看貌似非常不错的样子。哈哈,再次感谢!
回复 支持 反对

使用道具 举报

本版积分规则

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明

custom counter

GMT+8, 2017-10-17 06:18

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表