产品分析的同行们，请问实验数据not expected时，你们都怎么deep dive?

工作中经常会遇到实验(A/B test) 的metrics结果无法解释。比如unexpected drop in some rates。请问大家会用什么framework去验证自己的假设？

我一般会用这类的metrics diagnostics framework，但是这个framework一般是针对non-experiment metrics drop。
除此之外大家还会用什么办法interprete ab test result以及如何deep dive?

我的两分钱：一般如果不是一个新的metric的话 大概率考虑实验本身的问题，会优先让eng debug experiment setup，这里可以包括exposure bucketing（出于某种原因没有按照预想的assign group）和user experience（改了某个按钮结果那个按钮在android某个版本不work）。 DS可以帮忙看一些metric来帮助validate，比如funnel metrics之类的。

所谓prod analytics和ds差不多， 都是借着AI起来的hype,  无非就是对着蓝数据编故事；
我干了三年，写的故事连我自己都不信；大部分情况下stakerholder听听笑笑就走开了； 所以你也大可不必当真；


补充内容 (2021-12-25 10:08 +8:00):
ANALYTICS 其实和CEO做的一个事情，讲故事： 唯一的区别是CEO拿着图表和花街讲；你拿着图表和其他组的人讲 ； 要讲好故事，你得先有气场， 口若悬河，各种金融术语， 统计术语砸上来 （ 人工智能，机器学习，各种模型），让听众捉摸不透你到底什么意思； 如果听众开始琢磨你到底什么意思， 他就输了；
相信有一条定律大家都知道： 恋爱当中谁认真，谁就输； 生活里水先谈钱，谁就输；