一个常见AB test 问题请大神分析

yuihbhjfyfiuo 发表于 2021-9-13 02:30
请问一下能具体说说怎么从加速experiment的角度高谈阔论一番么？

从减少实验variance角度来说方法很多：Stratification, CUPED, Variance-Weighted Estimators, and ML-based methods CUPAC and MLRATE等，前面三个听到得比较多。
https://towardsdatascience.com/o ... uction-291b6032dcd7

我觉得上面答的加速实验不对，有些metrics是因为他们自身的特性而难以短时间得到数据，不是因为Variance小，如果你做fraud的话就会知道chargeback data天生的特性就是会有数据的延迟，你控制不了人家啥时候dispute chargeback。所以个人理解，这个题目的重点应该是找到short team proxy metric用来做实验的evaluation metric，同时Launch后保持一个holdout group来看那个long term metric的变化。

嗯，感觉short term metrics 和 hold out group 是对的！感谢大家分享

路边的小花 发表于 2021-9-14 19:35
嗯，感觉short term metrics 和 hold out group 是对的！感谢大家分享

那怎么找short-term呢