📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 3164| 回复: 0
跳转到指定楼层
上一主题 下一主题
收起左侧

写给小白的 A/B Testing 必备基础知识

 
全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
首先推荐很有名的这本书“Trustworthy online controlled experiments, a practical guide to a/b testing”,还有Data Interview Pro的一系列视频(https://www.youtube.com/watch?v= ... aD9eXng6N5kxcMtcxGK)比较精简,也很适合A/B Testing入门。. 1point 3 acres

什么是A/B tests?

A/B test 是一种controlled experienments,通常包括一个control group和一个treatment group,除了要test的变量,其他变量在两个group间都保持一样。Product的不同版本通常被称为Variants,最简单比如说button的不同颜色,复杂点比如说投放广告的不同算法。

为什么要做A/B tests?

A/B test 的目标是科学地做出data-driven的决定,所以test的结果一定要是可靠、能重复的,能保证所test的factor一定是metric变化的原因,也就是说,launch这个feature的影响可以通过treatment effect预测出来。Trustworthy书中也提到,A/B test是建立causality的金标准,可以detect small changes和unexpected changes.

A/B tests的5个步骤. ----

  • 实验前的准备工作:确定key metrics (Overall Evaluation Criterion);确保change是容易做到的;获取足够的randomization units (users),通常要上千。
  • 实验设计:需要考虑的问题比如,What population of randomization units do we want to select (specific population or all the users)? The size of the experiment (achieve the required statistical power)? How long to run an experiment (consider seasonality, the day of week effect, primacy and novelty effect)?
  • 进行实验并收集数据:这一步通常是和engineers一起get logs data.
  • 实验后的分析:一般是data scientists花最多精力的地方,首先必须做sanity check,保证数据质量,然后是进行hypothesis testing,并作出launch decision。还需要考虑:different metrics move to opposite directions的情况,launch的cost会不会太高?为了确保expected benefit超过costs通常可以设定一个practical significance boundary.
  • 监测长期效果:launch之后需要继续观测long-term effect (可能与short-term effect不同),此外novelty effects方面的分析也可以改进之后的iterations.

评分

参与人数 5大米 +29 收起 理由
bryanjhy + 25 很有用的信息!
screwforest666 + 1 给你点个赞!
Saitama + 1 欢迎分享你知道的情况,会给更多积分奖励!
就是要到处耍 + 1 给你点个赞!
jzhan51 + 1 赞一个

查看全部评分


上一篇:Abbvie 2022 Summer Intern
下一篇:请教一题facebook面经上的product 题--pet page
您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表