查看: 1010| 回复: 4
跳转到指定楼层
上一主题 下一主题
收起左侧

binary variable dataset 如何确定计算所用数据量充足?

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
假设我现在研究不同职业的人,他们信用卡default的概率。数据每一条record会有这个人的职业,还有default bit(binary,1表示default,0表示current)。算每个职业的probability of default就是用default的人数除以每个职业的总人数。

现在的问题就是,在已给的数据库里,每个职业的population不一样:比如医生我有30个人,学生我有1000个人。那这样我算出来的PD是statistically significant呢?(比如医生的probability of default只有 5%,他是因为真的5%,还是说我数据太少了,恰巧是5%?)我应该如何measure数据是否充足呢?

十分感谢!

补充内容 (2020-7-25 02:56):
这里我就是想找一个threshold ,如果某种职业的数据量低于这个threshold,那我未来的分析里面就不考虑这个职业。 这个threshold应该如何确定呢?

上一篇:最详尽的DS Python Cheat Sheet,求大米
下一篇:求问准备申请data analyst summer intern还需要准备些什么?

本帖被以下淘专辑推荐:

全局:
lz问题里说这是quota sampling 不是srs 所以我觉得就按照percentage按照不同categories再ransom sampling 最后generate model之后pvalue够了就好 如果有时间也可以对于每个categories单独得出pvalue?我好久没学ds了hhhh

补充内容 (2020-7-24 18:10):
我也是深夜无聊来答 欢迎纠正 真的**hhh
回复

使用道具 举报

全局:
在不引入更多假设的情况下 最简单的做法是给出基于数据量n的95%置信区间 其中最简单的算法是 [0.05 - 1.96*sqrt(0.05*0.95/n), 0.05 + 1.96*sqrt(0.05*0.95/n)] 当然这种方法很有局限性 特别是当default是个小概率事件时 不过n=30实在是太少了 如果楼主是在解决实际问题而不是回答面试题 建议至少n=300或者直接放弃医生这个职业
回复

使用道具 举报

🔗
 楼主| 无聊小浣熊 2020-7-25 02:52:47 | 只看该作者
全局:
babybear68 发表于 2020-7-24 19:23
在不引入更多假设的情况下 最简单的做法是给出基于数据量n的95%置信区间 其中最简单的算法是 [0.05 - 1.96* ...
. 1point3acres
在实际中碰到的这个问题,我想对于不同的职业进行PD的分析,如果数据量太少,那这个职业我就不要了。 现在的问题是,我如何决定这个threshold,就是比如低于n个record,这个职业我就不用了。 那这个n我应该怎么选择呢?随便猜么?谢谢!
回复

使用道具 举报

🔗
BusData 2020-7-25 10:54:29 | 只看该作者
全局:
对某个职业,可以计算这个职业default proportion的CI。最简单的比如直接基于链接里的公司。https://sphweb.bumc.bu.edu/otlt/ ... als-OneSample5.html
至于你reject这个职业或者包括职业到后续分析,这是一个business的问题。可以看你所有职业default proportion的distribution,看能否可以用mean+/- std来选区间。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表