📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 3545| 回复: 5
跳转到指定楼层
上一主题 下一主题
收起左侧

[找工就业] AB 测试效果验证

 
全局:

2022(10-12月)-EE硕士+3个月-1年 | 内推|其他地区 分析|数据科学类全职@bytedance
AB 测试效果验证. 1point 3 acres

. Χ
1、测试效果显著性检验
AB 测试后,我们需要对 AB 测试的结果进行显著性检验,从而判断改动是否对我们的核心指标产生了显著差异。举个栗子,仍以点击率为例,我们运行 AB 测试一周,分别对 1000 个样本进行了测试。对照组 A 的点击率为 7.5%,B 的点击率为 9%,如表:


我们能否给出结论说 B 比 A 好,改动是有效果的呢?有多大的可能是因为一些随机的因素导致这样的差异呢?
假设检验可以有效地帮助我们回答这个问题。首先假设改动没有效果,即 B 的效果不会比 A 好,然后试图通过样本测试的结果来验证这个假设, 如果样本足以推翻假设,那么我们就可以认为改动有效果,否则我们需要继续实验或者干脆就接受这个假设,把 B 方案扔掉了事。
由于我们实验的样本一般都较大(大于 30),所以我们使用 Z 检验来检验差异显著性(样本量较小时,我们一般用 T 检验,对此有疑问感兴趣的同学可以查阅相关资料)。
2、Z 检验
1)        样本统计量 Z 值
Z 检验是一种适用于大样本(样本容量大于 30)的两组平均数之间差异显著性检验的方法。它是通过计算两组平均数之间差的 Z 值与理论 Z 值相比较,看是否大于规定的理论 Z 值,从而判定两组平均数的差异是否显著。
其一般步骤如下:
第一步:建立原假设 H0:μ1 = μ2 ,即先假定两组平均数之间没有显著差异,
第二步:计算统计量 Z 值,对于不同类型的问题选用不同的统计量计算方法,通过检验两组样本平均数的差异性,判断它们各自代表的总体的差异是否显著。. ----
与计算样本量相似,当观测的指标为绝对值类型/比率型指标时,Z 值的计算公式有所差异。
当观测指标为绝对值类指标时:


. 1point 3acres

当观测指标为比率类指标时:


.google  и

2)        理论 Z 值. check 1point3acres for more.
样本的统计量 Z 值可以通过以上的公式进行计算, 理论 Z 值可以通过查询 Z 值表获得, 更方便的一种方法, 我们可以通过 Excel 的NORM.S.INV 函数直接计算,如下是我们常用置信水平 90%、95%、99%下的理论 Z 值。


3)        样本统计量 Z 值 vs 理论 Z 值比较
假设通过以上公式计算的统计量 Z 值 = 1.22,小于我们设定 95%置信水平对应理论 Z 值 1.96,也就是说我们暂无法判断这种差异性是显著的, 所以上述样本不足以得出 B 比 A 好的结论。
4)        继续实验
正如之前所说,由于无法得出 B 比 A 好的结论,这种情况下,我们需要做更多实验。
于是,我们又做了一周,A 和 B 分别得到了 3000 个样本,对照组和实验组转化率不变。这个时候我们有信心认为 B 比 A 好了吗?


仍然是套用上述公式求统计量 Z 值= 2.66。超出了我们设定的 95%置信水平对应理论 Z 值 1.96,这个时候我们有了足够的信心来相信 B 比 A 好。到此为止,实验结束。

本帖子中包含更多资源

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x

评分

参与人数 10大米 +10 收起 理由
小亩_bjkiny1 + 1 赞一个
xjb123456 + 1 谢谢分享!
zli21 + 1 给你点个赞!
钾肥宝 + 1 很有用的信息!
微信用户_9c4mrwd + 1 欢迎分享你知道的情况,会给更多积分奖励!

查看全部评分


上一篇:求助Hireright背调国内段经验
下一篇:AB testing常见面试题

本帖被以下淘专辑推荐:

全局:
sample size不是决定用t test还是z test的根本原因。即便sample size大于30,实际上大多数AB testing都应该用t test,因为不知道population的variance
回复

使用道具 举报

推荐
dajiangdongqu 2022-11-21 06:25:51 | 只看该作者
全局:
从实际意义判断显著性比用所谓P值本身更有意义。. check 1point3acres for more.
举个例子,比如年底你老板给你涨1% ;
有的人说,嚓,辛苦一年才1%, 隔壁老王涨了2%,这不行,不显著嘛;
有的人说,嚓,摸鱼一年,竟然涨1%, 很显著嘛;
还有的人说,嚓,这年头不裁就不错了, 对这涨幅我很满意;
反正来见过人根据P值的来计算显著性的;
显著性取决于你对产品的的预期,老板对产品的预期, 市场环境,行业情况,甚至隔壁老王产品的结果。 ..

以上就是给大家讲个笑话,不要当真,走过路过的给加个米吧。 祝大家节日快乐 !
回复

使用道具 举报

推荐
20221point 2022-11-21 04:29:49 | 只看该作者
全局:
感觉提高挺多
回复

使用道具 举报

🔗
MRSA 2022-11-20 22:17:46 | 只看该作者
全局:
楼主与我的想法不谋而合了zzz
回复

使用道具 举报

🔗
ymsfdzg 2022-11-21 10:17:58 | 只看该作者
全局:
楼主继续继续
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表