关于A/B testing sample size的两个问题，求解

正在研究experimental design，有两个问题不太懂：
1. Sample size计算的公式是什么？现在只了解sample size跟power, std error, alpha和effect size相关，但找不到formula
2. 计算sample size的std error是怎么计算出来的呢？是靠自己纯估计，还是先做A/A testing找出来的呢

.google  и谢谢各位大神！

emmagreen1220 发表于 2020/01/03 04:09:52
多谢！

我看课程上都是说计算SE用sqrt(p*(1-p)/N)即可，可是计算SE时我们是要算sample siz...

You are confusing concepts. Same size calculation is what you do first. You have know the following
Significance level (prob of type 1 error)
Power (prob of correctly rejecting null)
Expected standard deviation of the metric you are measuring, usually taken from historical data
Minimum effect size you want to measure

With the above you get sample size per group. For two groups, control and exp, you have to multiply by 2 to get the total amount of traffic required.

After you collect the data you then calculate standard error. It is the standard deviation of the sampling distribution.  

感觉楼主刚开始看材料哈，看到后面就会讲了，加油！

1. 这个问题之前也困扰了我。楼主看一下附件这一章，讲的很清楚，另外附上一页bittiger的课件，有公式，不过都是从原始公式推导来的。
2. Udacity的课上讲variance可以有几种算法
    1）Analytical variance: 如果有distribution的assumption，可以按照distribution计算
    2）Empirical variance: 如果没有，可以用AA test或者bootstrap来计算。

我们行业是director计算sample size...

Have a look at Udacity ab testing course by google. Covers everything you are asking in chapter 1

去系统上一门AB testing 课程，这些都学会了。Power analysis to calculate sample size.

如果是proportion 的话，可以如下公式

from scipy.stats import norm, zscore

def sample_power_probtest(p1, p2, power=0.8, sig=0.05):
    z = norm.isf([sig/2]) #two-sided t test
    zp = -1 * norm.isf([power])
    d = (p1-p2)
    s =2*((p1+p2) /2)*(1-((p1+p2) /2))
    n = s * ((zp + z)**2) / (d**2)
    return int(round(n[0]))

或者用R自带公式
power.prop.test

新年新气象，有用的话求加米。

anna2016 发表于 2020-1-2 13:03
去系统上一门AB testing 课程，这些都学会了。Power analysis to calculate sample size.

如果是proport ...

多谢！

我看课程上都是说计算SE用sqrt(p*(1-p)/N)即可，可是计算SE时我们是要算sample size，所以并没有开始experiment呀？那我们怎么知道SE呢？

emmagreen1220 发表于 2020-1-3 04:09
多谢！

我看课程上都是说计算SE用sqrt(p*(1-p)/N)即可，可是计算SE时我们是要算sample size，所以并没 ...

you can get it from estimation. 估算。看看其他人怎么回复哈

我最近对这个问题也很迷惑

好问题，持续关注

https://splitmetrics.com/blog/mobile-a-b-testing-sample-size/

这个帖子可以看一下呀~