ZT：关于人人网的新春祝福counter……召唤统计帝

刚看到的，感觉很有意思。学统计的筒子来帮大家科普一下吧～就当作习题了
http://blog.renren.com/blog/253946299/446968048关于人人网所谓的 已有XXXXXXXX人写下新春祝福


2010-02-12 19:44 | (分类:默认分类)


人人网号称"已有XXXXXXXX人写下新春祝福",吃饱饭了的我不妨来验证一下这个数据是果真真实统计了确切的人数还是只是由一个并不高明的程序所制造出来的伪随机数呢?
写下祝福的人数的数据似乎每秒跳变一次,而一次跳变的数据之差即应该为这一秒内写下祝福的人数.于是记录121组数据如下:
总共人数(后2位)   该秒人数

7	8
15	6
21	9
30	8
38	6
44	9
53	8
61	9
70	6
76	6
82	6
88	11
99	7
6	9
15	7
22	6
28	5
33	12
45	9
54	7
61	7
68	7
75	6
81	10
91	9
0	7
7	7
14	9
23	9
32	5
37	9
46	8
54	6
60	9
69	9
78	5
83	9
92	8
0	6
6	6
12	8
20	9
29	8
37	7
44	8
52	9
61	9
70	5
75	8
83	8
91	7
98	7
5	7
12	9
21	8
29	10
39	5
44	7
51	6
57	10
67	9
76	9
85	5
90	10
0	8
8	5
13	8
21	8
29	7
36	9
45	7
52	7
59	8
67	7
74	8
82	10
92	6
98	7
5	8
13	6
19	9
28	6
34	9
43	8
51	8
59	7
66	8
74	7
81	7
88	9
97	10
7	7
14	6
20	10
30	7
37	6
43	9
52	7
59	7
66	7
73	9
82	8
90	8
98	8
6	7
13	5
18	9
27	9
36	6
42	9
51	8
59	6
65	9
74	8
82	6
88	9
97	8
5	8
13	8
21	7
28	8
36	总计929

由于这里共有121组数据,在2分钟内可以大致认为上人人网的总人数是基本一定的(不比一半数据是白天,一半是晚上的),而写下祝福又是较为独立的事件,每个人写下祝福的willingness大致是一定的.即便上述前提不成立,总得来说,我们信仰这些数据服从Poisson分布:
    P{x=k}=lamda^k*exp{-lamda}/k!
那么我们根据假设检验理论来检验以下上述数据是否服从Poisson分布.
H_0:上述数据服从Poisson分布 <-v.s.-> H_1:上述数据不服从Poisson分布
首先计算得 lamda_hat=X_bar=7.67768595
然后划分区间并得到下属统计表:
volume  j             y_j                             n*(p_j)hat  (n=121)

<=5	8		0.2225746650
6	19		0.1317260000
7	27		0.1444790000
8	29		0.1386580000
9	29		0.1182860000
>=10	9		0.2442763350

根据Pearson Ki square 检验理论(Fisher,1924)有:
    X2(y)=sigma(j=1->6,[p_j-n*(p_j)hat]^2/[n*(p_j)hat] ) ~ Ki_square(6-1-1)
                                                                                    = Ki_square(4)
而带入计算得, X2(y)=57.35171845>>Ki_square(4,alpha/2)
其中置信水平alpha可取各种合理值(如0.01,0.02或0.05等).若alpha取0.01则置信概率为0.99,Ki_square的具体数值可查表(Ki_square(4,0.995)在十几左右,与54差距太大).因此我们强力得拒绝H_0.
注1: 上述,对于区间的不同划分确实在有些情况下造成结论的不同.根据实际运用中的原则,区间的数量在6--17为宜,每个区间中的频度在5个以上为宜.
注2: 假设检验似乎有点像信仰问题.结论表明,在这种信仰下,我们有远超过99%的概率(事实上,该概率大到一般的数学用表难以表示)来拒绝的H_0.
注3: 如此大的差距即便更换信仰或是采用不同的观测值,基本都难以自圆其说.
结论: 我们有理由信仰,人人网所谓的XXXXX人写下祝福,或许只是一个写得并不好的程序所产生的几个骗人的伪随机数罢了.

Zach真的只是EE男吗

对，我也严重质疑过这个问题，接近600万条祝福了。我根据自己周围朋友写这个的比例估算了下，觉得不切实际。大部分的人实际上都没有写

Zach真的只是EE男吗
niyuanfeng 发表于 2010-2-14 17:13

我是爱好广泛猥琐男～

话说我在这边学的统计，看到中文术语还得反应半天。。。

It seems reasonable to assume that the number of people writing messages has a Poission distribution.
But I don't think the mean is a good estimator for Poission distribution since variance is lambda as well.
I'm still learning how to find estimators : P

我觉得另一个比较有效的测试是，记录总人数的最后一位，看0-9十个数字是不是 uniformly distributed

这个太高深了，不适合我

话说我在这边学的统计，看到中文术语还得反应半天。。。

It seems reasonable to assume that the number of people writing messages has a Poission distribution.
But I don't think the mean is a good esti ...
duanmupeiyi 发表于 2010-2-14 20:01

嗯。我也是这么想的，当时看到他用Poission分布的时候，还在想他不是走弯路了么……
如果用的是随机数生成算法，那么个位是0～9的频率应该是基本一样的呀～呵呵
（其实我主要是想找端木MM确认下，假设人人网的用户写新春祝福这个事件服从Poission分布到底合理不……因为我只记得排队是Poission，呵呵～thx～）

nerdy的孩子们太可爱了

端木～～  Poission是啥意思啊？没看懂     还有lambda

端木～～  Poission是啥意思啊？没看懂     还有lambda
weiwlw 发表于 2010-2-15 10:30

统计分布