【求助】关于A/B Testing的一些疑问

最近过了一遍UDACITY的课程，关于其中的思路有一些疑问：
课程里举例给出

d^ = p_exp - p_control
SE_pool = \sqrt{p_pool x (1-p_pool) x (1/Nexp + 1/Ncontrol)}

这里用了pooled standard error
然后用事先约好的95% confidence对应的 z（1.96） 去计算 z * SE_pool 来获得置信区间，再与 practical significance 比较（事先约好，如2%）

这个思路可以理解。





但是我在实际工作中遇到的a/b test则是在计算 improvement(或者叫impact)和 p-value.

.--如果我理解的正确的话应该是
impact = p_exp/p_control - 1

然后用 t test

z = (MeanX1 - MeanX2) / \sqrt ( S1^2/n1 + S2^2/n2)

（其中 S^2 / n = SE^2 所以根号下可以写成 SE1^2 + SE2^2）

因为p_exp 和 p_control 都为binomial distribution， S = kp(1-p), where k =1 in our case
所以可以得到 z 的结果为：

SE1^2 = p_exp(1 - p_exp) / n_exp
SE2^2 = p_control(1 - P_control) / n_control
Z = p_exp - p_control    /    sqrt( SE1^2  + SE2^2 )

然后用Z-table去找对应的p-value, 一般z值较大 (> 1.96) p-value < 0.05 说明statistical significant.


请问大佬们上面的理解有错误的地方嘛？ 如果没有的话，想请教一下两种思路的不同和适用场景， 谢谢！
(图片 说我无权限查看附件服了自己的都看不了facepalm)








补充内容 (2020-6-2 08:49):
impact 应该是 absolute change. 如conversion rate, 就应该是直接减difference

wujiayikelly 发表于 2021-1-2 06:09
请问，怎么证明公式1是特例？因为公式2中的分母可以算sample size，不知道公式1是不是也能用来算sample s ...

哈哈，多谢大米 。 我就把这层纸捅破。
19世纪的人写出了第一个公式，要测试population difference，就用这个， 应付实际情况，足够了。 唯一的缺陷是两个总体的方差要相等/或者差不多。 这个也非常符合实际情况，你要测试的metric， 十有八九也是差不多；如果天壤之别， 为啥要你测试？

世上总有天才闲的没事干，无数人研究方差不一样怎么办？ 长什么样子？ 有没有解？是个啥分布？研究几十年后人公认welch-satterthaite结果好看 （我也认为welch结果非常简洁），就把他俩搞的公式搬上教科书让你们学。

上面说的是历史故事，如果问凭啥1就是welch的特例 ？ welch说了， 你没看我的公式用了sigma_1和sigma_2么 ？ 你认为sigma_1约等于sigma_2, 你就用sigma来表示， 然后推导两步，即得到公式1.

wujiayikelly 发表于 2021-1-3 14:01
所以用pool的假设是什么？我理解的是用的H0下的价格也就是P_exp = P_cont，如果这样的话，那P_pool = (X_ ...

你写的这一串我看不太明白， 我把原始公式搬出来算了。
https://en.wikipedia.org/wiki/Test_statistic
2_sample equal variance和 2_sample unequal variance 两个公式一上一下。
equal variance用了sig_pool
unequal variance 用了 sig_1, sig_2
let sig_1 = sig_2 = sig_pool, 这俩公式难道长得不一样？ 有人问凭啥sig_1 = sig_2 = sig_poo, 因为在welch做出的公式适用于更一般的情况， 不管sigma相等还是不相等。

wujiayikelly 发表于 2021-1-3 04:02
.google  и谢谢哈，所以P_pool = P_exp = P_cont对么？我还奇怪为啥非得用个P_pool.....其实用P_exp或者P_cont也一 ...

简单地说， pool就是weighted_average,  所以您写的那两个等号，显然不对。那什么是对的？ 就好比一个班男生平均身高一米八，女生平均身高一米七，问poo出来的平均身高是多少?

第二， pool就是个简略的提法，根据它在公式中的地位， 有好事者起的名字，方便解释。 但不知道是闲人太多还是天才太多， 总以为poo里面藏着什么奥秘， 老是从poo出发，寻求解释。 我老不同意。

头两个公式写对了，
最后三个也写对了，
中间比较乱，什么impact formular， 没听说过。
你学的不是挺好的吗，哪有什么疑问 ？

dajiangdongqu 发表于 2020-6-2 07:09
头两个公式写对了，
最后三个也写对了，
中间比较乱，什么impact formular， 没听说过。

谢谢回复，我不太清楚这两种方法的在实际使用时的区别，什么时候该用哪个方法

如果看converion rate这种metrics，improvement都是看absolute change instead of relative change吧，不然从1.5%到6%增加了300%？

实际应用没区别，不信点点小数点，经常都点到第三四位了， 你说能有啥区别？
要说理论上区别真是挺大的，第二个公式和T分布有关，统计鼻祖费舍大师的成名作，名垂千古的东西。可以说公式1是2的特例，公式1当时统计学家都知道，（因为假设了equal variance）； 公式2，只有被费舍几个天才搞出来了，而且在线性系统里面用处很广，
类似与牛顿写f=ma，老爱写m=ec2 。看着好像没什么，就几个字， 实际上这几个字就是一门学科的开始。
我个人很喜欢公式2 ， 纪念一下前辈。

yyy77 发表于 2020-6-2 08:33
如果看converion rate这种metrics，improvement都是看absolute change instead of relative change吧，不然 ...

对的，我搞混淆了

多谢楼主给大米。
既然楼主问区别， 就告诉楼主:   公式1和公式2基本就是凡人和天才的区别。 天才推广凡人能看到的东西，凡人看天才，看也看不懂。
谁觉得同意的， 可以加点米啊。

谢谢楼主题的这个问题，我也在看，也发现了这个问题。不过怎么证明公式1是公式2的特例呢？

dajiangdongqu 发表于 2020-6-2 09:06
多谢楼主给大米。
既然楼主问区别， 就告诉楼主:   公式1和公式2基本就是凡人和天才的区别。 天才推广凡人 ...

请问，怎么证明公式1是特例？因为公式2中的分母可以算sample size，不知道公式1是不是也能用来算sample size？谢谢！