请教一道A/B testing的面试题，谢谢！

转专业想申请DS的相关职位，请问一般的A/B testing的问题，有没有标准的回答流程或者模板？例如下面是地理的一道A/B testing的面经，请问这种问题，一般怎么回答会比较好。谢谢！
公司现在referral 一个新的客户会给一定的cash奖励，假设要把referral bonus从给现金变成给一个股票，该怎么去测试这个feature是否有用，自己define metric 设计方案。

这个很容易, 改改policy, 等三个月， 看看还有有多少 referal, referee, 以及referee的表现就行了。
加点大米吧

dajiangdongqu 发表于 2020-12-8 06:20
. Χ这个很容易, 改改policy, 等三个月， 看看还有有多少 referal, referee, 以及referee的表现就行了。
加点 ...

非常感谢！！

想继续请教一下：

1，A/B testing , 三个月时间会不会太长了啊？一般怎么确定时间长短，我搜了一下好像一般都是1~2周时间做a/b testing

2，如果说必须要三个月时间才能看到test的结果，请问这种长时间才能看到效果的metrics应该怎么定义比较好？或者有没有什么比较好的短期可以看到结果的metrics可以取代长期的metrics

谢谢！

求时间的长短换句话说就是求sample size 然后minimum sample size可以用power analysis来算

JazzlikeAnalysi 发表于 2020-12-8 07:11
求时间的长短换句话说就是求sample size 然后minimum sample size可以用power analysis来算

谢谢！

我没有做过a/b testing的工作，但是 需要三个月或者更长时间才能看到结果的a/b testing会不会太长时间了，请问工业界怎么处理这种长时间的a/b testing? 这种的metrics怎么设计？谢谢

dajiangdongqu 发表于 2020-12-7 14:20
这个很容易, 改改policy, 等三个月， 看看还有有多少 referal, referee, 以及referee的表现就行了。
加点 ...

但是你这么做 1. 时间线太长 2. 直接改 policy 会直接影响到 customer experience 3. 你怎么确定 significance level？

我说三个月， 就是随口一说，大家可以临场发挥， alpha = 5%, power = 80%,  还有目前的effetive size， 还有什么？？ 搞出sample size N， 比如2000人。
对其中1000人发消息说你的poplicy变了， 给你500手股票； 另外1000人说policy不变给你500现金。 不就完了。

几个绕圈子的地方无非：
1. referee的质量， 也要测一下。 referee三个月能给你多少钱
2. 有人说客户体验不好， 我说有得才有失。 你可以考虑用新客户来做test/control, 但让新客户refer新客户， 有意思吗？

czhmily 发表于 2020-12-8 07:15
谢谢！

我没有做过a/b testing的工作，但是 需要三个月或者更长时间才能看到结果的a/b testing会不会 ...

不了解有没有针对长时间实验metric的设计

不过面试的时候 只能陈述一下自己的assumption简化一下问题了

a/b testing 是不是就是randomized controlled trial? 网上看都说是，那healthcare 一个trial 做几个月很正常啊，为什么又不能用呢？

所以这种referral 的ab testing， 我们应该怎么定义metrics呢？#referral， 还有referee engagement (time on app/ #amount of deposit/trading). 对于这种trading app，最在乎的metrics应该是什么呢？trading volume （account balance）？