A/B test 是一种controlled experienments,通常包括一个control group和一个treatment group,除了要test的变量,其他变量在两个group间都保持一样。Product的不同版本通常被称为Variants,最简单比如说button的不同颜色,复杂点比如说投放广告的不同算法。
为什么要做A/B tests?
A/B test 的目标是科学地做出data-driven的决定,所以test的结果一定要是可靠、能重复的,能保证所test的factor一定是metric变化的原因,也就是说,launch这个feature的影响可以通过treatment effect预测出来。Trustworthy书中也提到,A/B test是建立causality的金标准,可以detect small changes和unexpected changes.
A/B tests的5个步骤. ----
实验前的准备工作:确定key metrics (Overall Evaluation Criterion);确保change是容易做到的;获取足够的randomization units (users),通常要上千。
实验设计:需要考虑的问题比如,What population of randomization units do we want to select (specific population or all the users)? The size of the experiment (achieve the required statistical power)? How long to run an experiment (consider seasonality, the day of week effect, primacy and novelty effect)?