a/b test的evaluate metric可以用retention rate 或者 churn rate吗？

求问大神们，对于saas，想改变一个feature然后想看对留存或者churn的影响，
做a/b test的时候metric可以用7-day/14-day retention rate 或者churn rate来衡量吗？
如果不可以的话原因是什么呢？
有什么可以替代的metric吗？time之类的吗？
谢谢大家！！！

看那个a collection of data science 里面说的是retention rate 不能用a/b testing测是因为时间太短
所以alternative way 是用一个还行的predictive model 根据客户近期的购物行为去判断他们将来会不会churn
具体就是：
a/b testing applied to customer ---> use predictive models to classify --> get expected "new" churn rate  
然后看看new churn rate是不是提高了

看具体产品是什么 ab test evaluation只能用short term metric如果一个产品的retention短期变化不大就不要用 相反就可以用 比如mobile game

为什么不可以？

先定义一个time window。14 day？28 day？

从apply treatment的当天开始计起，14/28 天后 treatmemt，control 那些人churn了，再算出rate。

然后再做statistics test。不就完事了么

首先，时间长的retention肯定不行。但是次日留存是不是可以用呢？？？

如果是saas的话，要看这个churn的周期有多长，如果是每月billing，7d或14d留存都没什么意义，如果是看月留存，直接做ab test就会等太久，所以需要用楼上一位同学提到的，建模型来找和churn rate有很高相关度的一个early indicator，再对这个early indicator做ab test