请问什么时候要做stratified sampling(而不是random sampling)

facebook的data scientist的一道面试题，短时间内求出Facebook news里面的fake news有多少。基本都是说做抽样调查，但是大家说需要做stratified sampling(比如按照不同的category: politics, sports, etc.)来抽样调查，可是我不明白，为什么randon sampling来做抽样调查为什么不可以呢（random sampling不是已经能保证stratified了么）？请问什么时候需要做stratified sampling，什么时候需要random sampling呢？

一般做分层抽样是基于三种情况。一是分层可能会产生更小的误差，因为考虑到同层内的同质性，二是分层可能会减少抽样成本。三是研究生不仅对整个population感兴趣，也对subgroups感兴趣。

Data很可能unbalance分佈。例如，Fake news 在某個 category可能特別稀疏，你random sampling可能根本抽不到。這時候stratified sample可以讓你抽到，你才有data繼續做分析。我們組有類似的問題，我問了我們組的scientist為什麼要做stratified sampling而不是random sampling，他給了我這樣的答案

通过完全随机抽样恰好获得分层抽样的结果的可能性很小 在抽样比例较大 每层样本量较为平均的情况下 完全随机可以达到近似于分层的效果 然而新闻的特点是不同种类的数量相差很大 比如说政治新闻会很多 科技新闻相比下少得多 而且由于基数庞大 抽样的比例会很小 最直观的结果就是如果进行完全随机抽样 科技新闻可能只会被抽到几条 显然这对科技新闻没有什么代表性

hustjbj 发表于 2021-5-31 21:01
一般做分层抽样是基于三种情况。一是分层可能会产生更小的误差，因为考虑到同层内的同质性，二是分层可能会 ...

非常感谢！！

hustjbj 发表于 2021-5-31 21:01
一般做分层抽样是基于三种情况。一是分层可能会产生更小的误差，因为考虑到同层内的同质性，二是分层可能会 ...

可以追问一句，为什么/如何可以减少抽样成本呢？

mark一下

成本太大。但随机误差太大，所以要stratified减少误差和偏差。

rockfido 发表于 2021-6-1 01:37
可以追问一句，为什么/如何可以减少抽样成本呢？

分层抽样可以有效地分配更多的成本到weights大的subgroups中。如果完全随机抽样，同样的成本抽出来的误差大。