📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 7776| 回复: 1
跳转到指定楼层
上一主题 下一主题
收起左侧

[找工就业] AB testing常见面试题

   
全局:

2022(10-12月)-EE本科+3个月-1年 | 内推|其他地区 分析|数据科学类实习@bytedance

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
AB 测试常见面试题
1、第一类错误 vs 第二类错误
面试官问:你怎么理解 AB 测试中的第一、二类错误?
第一类错误和第二类错误,AB 测试中最常提到的两个概念,前面也提到过,也是统计学中比较容易搞混的两个概念。不好理解的话,还是举个栗子,在互联网产品案例中,第一类错误代表的是一个功能的改动,本来不能给我们带来任何收益,但是我们却误认为它能够给我们带来收益。同样,第二类错误代表的是本来是一个好的产品,它本来可以给我们带来收益,但是由于我们统计的误差,导致我们误认为它并不能给我们带来 收益。
往往在实际的工作中,第一类错误是我们更加不能接受的。换句更直白的话说,就是我们宁愿砍掉几个好的产品,也绝对不能让一个坏的产品上线。因为通常是一个坏的产品上线会给用户的体验带来极大的不好的影响,而这个不好的影响会非常大程度的影响到我们的日活以及留存。你要知道在现实生活中,我们把留存或者把日活提升一个百分点都已经是一个非常了不起的优化了,但是通常要实现 1%的留存率。人都需要花费很长时间,也很大精力,但是你如果想要留存下降一个百分点的话,可能就是一瞬间的事情。所以第一类错误通常是我们在实际工作当中所更加不能接受的。
2、统计显著=实际显著?
面试官问:如果你发现 AB 测试的结果在统计上来说是显著,但是在实际中却不显著,这是为什么?
这个可能的原因是我们在 AB 测试当中所选取的样本量过大,导致和总体数据量差异很小,这样的话即使我们发现一个细微的差别,它在统计上来说是显著的,在实际的案例当中可能会变得不显著了。举个栗子,对应到我们的互联网产品实践当中,我们做了一个改动,APP 的启动时间的优化了 0.001 秒,这个数字可能在统计学上对应的 P 值很小,也就是说统计学上是显著的,但是在实际中用户 0.01 秒的差异是感知不出来的。那么这样一个显著的统计差别,其实对我们来说是没有太大的实际意义的。所以统计学上的显著并不意味着实际效果的显著。
3、AB 测试效果统计上不显著?
面试官问:如果你发现你在 AB 测试当中所选取的指标在统计上来说都是不显著的,你该怎么去判断这个实验的收益?
对于这种情况,我们所选取的一种通用的方式是将这个指标去拆分成每一天去观察。如果指标的变化曲线每一天实验组都高于对照组,即使他在统计上来说是不显著的,我们也认为在这样一个观测周期内,实验组的关键指标表现是优于对照组的,那么结合这样一个观测,我们最终也可以得出这个优化可以上线的结论。. 1point 3 acres
4、实验组优于对照组就能上线?
面试官问:如果你在 AB 测试中发现实验组核心指标明显优于对照组,那这个优化就一定能够上线吗?
不一定。举个例子,比如说有的时候我们想要提升产品的视觉展现效果。但是这种优化可能是以用户等待内容展现的时间作为代价来进行提升的。所以一个方面的优化可能会导致另一个方面的劣化。在做这个优化的时候,可能会对其他部门产生一些负向的影响,进而导致公司收入的下降。 所以我们在进行 AB 测试的时候,必须要综合评估所有方面的一些指标变动,同时对于收益和损失来做一个评估,才能确认这个优化可以最终上线。
5、AB 测试是必须的么?
面试官问:AB 测试成本很高,每个调整都需要 AB 测试么?. 1point 3acres
但是比如说面试官问到每一个关于我们现在想要上线一个小改动,或者说要上线一个小调整,你会如何去验证这个调整的收益?你都用 AB 测试去进行回答的话,他可能会反问,AB 测试是需要成本的,你不觉得每一次我们如果都需要通过一个 AB 测试去验证的话,成本过高吗?对于这种情况,你可以说如果只是验证一个小按钮或者一个小改动,我们可以在界面上去设置一个开关,用户可以通过开关的形式自行决定我采用哪一种方式。那么我们最后就可以通过这个开关的相关指标去判断用户对于哪一种形式又有更大的倾向性。或者有的时候我们可以去做一些用户调研,比如说通过访谈或者说是设计问卷的形式,去收集一些用户的反馈。或者他们关于这些小变动的体验,所以并不是绝对的。
6、AB 测试的其他变式考法
.--你会如何去验证这个数字的显著性?
你的分析结果带来了一些显著的收益,你会是如何验证这些收益?

评分

参与人数 6大米 +20 收起 理由
bryanjhy + 15 给你点个赞!
嘿嘿嘿嘿_ + 1 楼主/层主请继续!
agoa + 1 很有用的信息!
hya + 1 给你点个赞!
Liuyer + 1 很有用的信息!

查看全部评分


上一篇:AB 测试效果验证
下一篇:Quant后台转前台

本帖被以下淘专辑推荐:

🔗
dajiangdongqu 2022-11-21 06:06:06 | 只看该作者
全局:
P值 IS OVERENGINEERED ;  拿本文的“优化了 0.001 秒”来说, 如果项目的设计目标就是千分之一, 那项目就成功了;低于这个值,就失败了; 实际工程里面,很多指标用万分之一,百万分之一也不奇怪;
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表