一个常见AB test 问题请大神分析

在产品面试的时候被问到一个问题。如果我们原先的business metric 要很久才能得到结果 （比如半年甚至更久）， 那我们在做AB test 的时候应该怎么办呢？例如， 我们做了Email AB test， 但是test的效果要很久才能见效。我们应该如何去解决这个问题呢？欢迎各路朋友发表观点！！

我觉得上面答的加速实验不对，有些metrics是因为他们自身的特性而难以短时间得到数据，不是因为Variance小，如果你做fraud的话就会知道chargeback data天生的特性就是会有数据的延迟，你控制不了人家啥时候dispute chargeback。所以个人理解，这个题目的重点应该是找到short team proxy metric用来做实验的evaluation metric，同时Launch后保持一个holdout group来看那个long term metric的变化。

yuihbhjfyfiuo 发表于 2021-9-13 02:30
请问一下能具体说说怎么从加速experiment的角度高谈阔论一番么？

从减少实验variance角度来说方法很多：Stratification, CUPED, Variance-Weighted Estimators, and ML-based methods CUPAC and MLRATE等，前面三个听到得比较多。
https://towardsdatascience.com/o ... uction-291b6032dcd7

做holdout experiment，或者找proxy metrics，河马书的最后一章有讲一些方法

留一个long term holdout 来做back test？

要这么久才能出结果的话大概目前没什么意思test吧 说明也是影响力比较小的variance 不如找点别的test

damien 发表于 2021-09-12 14:50:36
做holdout experiment，或者找proxy metrics，河马书的最后一章有讲一些方法

河马书是哪本？求指点啊

换一个短期surrogate metric

zhougt 发表于 2021-9-12 17:25
河马书是哪本？求指点啊

Trustworthy online experiments - a practical guide to ab test

最近看有一个视频讲如何通过比较加速度来判断covid传播变快还是变慢，他就对比如果传统metrics图就看不来这种结果。
不知道可不可以从重新审视是否用对metrics，和如果能加速experiment的角度再高谈阔论一波，最后不得已回到hold back experiment或者长期launch 1%也不是不可以啊。有很多risk比较大的事情，就是长期小规模experiment的啊。

luckydragon 发表于 2021-09-12 16:19:55
最近看有一个视频讲如何通过比较加速度来判断covid传播变快还是变慢，他就对比如果传统metrics图就看不来这种结果。
不知道可不可以从重新审视是否用对metrics，和如果能加速experime

请问一下能具体说说怎么从加速experiment的角度高谈阔论一番么？

其实我一直很好奇可不可以答 改用bayesian ab test