请教一个A/B test的问题

A/B test中假设我想比较两个button的click through rate，如button 2的click through rate是否比button 1高2%， 那么请问我的原假设和备择假设是什么呢？Udacity上给的例子是通过计算confidence interval从而判断95%的情况下高于2%， 如果我们想通过拒绝原假设来判断的话，那么原假设应该是difference<2%吗?

1.goal：测量改过的button是否提高了点击率
2.control group是原来的button（红色）, treatment group是改过的buttuon（绿色）
3.原假设：两个button对点击率没有差别。备择假设：绿色的button会提高点击率。
4.定义”提高“是怎样的：通过实验你发现现在的点击率是3%，那么你的目标是使用绿色的button点击率会变成3.3%（提高10%）
5.确定sample size:
power analysis->   power.prop.test(p1=0.03,p2=0.033,sig.level-0,05,power=0.8) 你会得到n=53210
这个n就是你treatment group的sample size。如果你的实验是90-10 split，那么你将需要的总样本是53210/10%=532100
解释一下上面function的各个系数
p1是之前的ctr，p2是你想要的ctr, sig.level就是p-value=alpha, 也就是type I error，而power就是由type II error得来， 1-beta=power
实际工作中，你还要考虑实验的执行时间。比如你的网站每天max traffic是十万，那么执行90-10的实验就需要532100/10000~5.3 days
如果想要快点又对精度没有那么大的要求，可以把alpha改成0.1

Frankford 发表于 2018-1-29 00:39
我也是回答不需要。但是我没拿到OFFER。就不知道正确答案。

确实是不需要 因为偶然有一天p值很小，小到可以拒绝原假设 然后你就说拒绝原假设 这样是不对的 因为那一天可能只是偶然 举个例子：两个队比赛，最后平局，但是中间某个时刻A队领先B队，你不能看到这一幕就说A最后赢了比赛。我觉得你没有拿offer可能是别的原因，比如你没有合理的解释为什么不需要，或者别的题目没答好，或者只是差点运气

Frankford 发表于 2018-1-23 01:06
非常专业的答复。
还想问你一下：
1. 90-10 split is control group 90% of data, treatment group 10% ...

1. yes!
2. beta is the probability that you meet type II error, and we call power = 1-beta. With that being said, the more power you have, the lower probability that you get type II error. You can google power analysis for more details. I am also new here..

试着回答一下。

louisgogogogo 发表于 2018-1-22 06:12
1.goal：测量改过的button是否提高了点击率
2.control group是原来的button（红色）, treatment group是改 ...

非常专业的答复。
还想问你一下：
1. 90-10 split is control group 90% of data, treatment group 10% of data?
2. can you explain the Power more detail? What does Beta represent in this case?

louisgogogogo 发表于 2018-1-22 06:12
1.goal：测量改过的button是否提高了点击率
2.control group是原来的button（红色）, treatment group是改 ...

-baidu 1point3acres请问一下为什么要90-10来split呢？我之前的理解是50，50来分就好，每组53210，一共106420.

xssssss 发表于 2018-1-26 15:11
请问一下为什么要90-10来split呢？我之前的理解是50，50来分就好，每组53210，一共106420.

做a/b test之前你不知道新版本会不会对产品有灾难性的打击
50/50太危险

lha_1313 发表于 2018-1-26 16:29
做a/b test之前你不知道新版本会不会对产品有灾难性的打击
50/50太危险

我之前的表述有一些问题。其实我想说的是实验组和控制组样本量相等就可以了吧？比如两组都用总traffic的10%，持续一定的天数，然后每组总计样本量53210. 剩下的traffic可以用来跑其他的test。换言之，control group并不需要9倍于experiment group的样本量。

xssssss 发表于 2018-1-26 15:11
请问一下为什么要90-10来split呢？我之前的理解是50，50来分就好，每组53210，一共106420.

主要就是两个组数量相等，你也可以5%,5%,90%unused

louisgogogogo 发表于 2018-1-28 04:34
主要就是两个组数量相等，你也可以5%,5%,90%unused

想再问你一个问题，我有一次面试被问到是否要每天CHECK A/B TEST 的DATA DURING EXPERIMENTAL PERIOD. 比如你现在的时间是5.3 天，那么需不需要每天都CHECK一下你得到的DATA. 我不知道如何回答。