AB testing面试题请教

最近面试被问到提前结束AB testing的问题：例如原计划两周的AB testing，一周后发现p<5%了， 这时候能不能结束？怎么从统计上解释不能提前结束？

谢谢！

一般做ab test都是根据想要达到的statistical power，一般是0.8，来计算一个sample size，然后用sample size来预计需要做testing的时间。在你的case里面算出来的时间是两周，如果你只做了一周，预设的sample size没达到，那么power就会偏低，导致type 2 error太高，实验结果不可信。p value 小于0.05只能保证type 1 error比较小，但sample size没达到会导致type 2 error太高。我们做ab test要两种error都低实验结果才可信。

不能…会提高false positive rate

czhmily 发表于 2021-01-10 12:09:08
请问如果PM还是决定第一周停下的话，是不是可以调整p value ，例如以前都是p<5%，现在换成一个更小的p。请问这是怎么调整 ？原理是什么？ 感谢！

不能这么做，alpha和beta都是做ab testing之前应该确定的，不能实验做了一半去修改。PM这么操作说明这个PM没有什么做ab test的经验，需要你去普及一下，告诉他为什么实验不能提前终止。

插个眼～zszszs

ZeZheng 发表于 2021-1-11 03:18
一般做ab test都是根据想要达到的statistical power，一般是0.8，来计算一个sample size，然后用sample siz ...

请问如果PM还是决定第一周停下的话，是不是可以调整p value ，例如以前都是p<5%，现在换成一个更小的p。请问这是怎么调整 ？原理是什么？ 感谢！

ZeZheng 发表于 2021-1-11 04:54
不能这么做，alpha和beta都是做ab testing之前应该确定的，不能实验做了一半去修改。PM这么操作说明这个PM ...

谢谢 已加米 我自己没做过动态调整p   但是对方明确说 可以动态调整p value, 用更小的值 我想搞清楚怎么选择更小的值

ziweiw 发表于 2021-1-11 06:00
不能…会提高false positive rate

请问如果PM还是决定第一周停下的话，这时候应该怎么调整p value ，例如以前都是p<5%，现在换成一个更小的p。请问这是怎么调整 ？原理是什么？ 感谢！

是不是还需要考虑novelty effect？如果时间太短，数据还不能趋于稳定？