请教一道产品题 Measure Success

一道常见的产品题是launch 了一个product/feature （比如instagram stories）之后怎么measure success.我看网上说的一般思路是先clarify goal, 然后define metrics.
我想问的是
1）launch 之后就不能做ab test 了吧？
2） 如果不能做ab test, define 的metrics 要和谁比呢？ 整个ecosystem 的metrics 比如DAU 什么的可能还有baseline，像feature specific metrics, 比如新feature 的time spent, adoption rate 以什么为baseline 呢？还是只用整个ecosystem 的metrics 就可以了？

谢谢大家！

launch的过程本身也有个ramp up的过程，很多时候以及面试来说的话也包括了ab testing。也有很多情况不做test就要用比如matching之类的quasi experiment的方法去分析。对于feature specfic的merric，本身就算ab有时候也没办法比较，所以就只和sizing opportubity时候的baseling比就好了。这些是我个人的理解哈，不一定对

一般在立项的时候就已经规定好success criteria。跟那个比就好了。假如goal是规定的10% week over week 啥的，那就是跟自己前一个星期比。

launch完了也要有continuous improvement，ab testing可以有。

面试里的话，如果是根据你做过的项目谈如何measure success，那你就先说你们当时立项的时候criteria是什么。如果是hypothetical system design那你就先根据common sense 来define success criteria，跟面试官聊一下看是否满意。完了再解释具体用什么方法Measure吧。

wmjahura 发表于 2021-1-25 06:23
launch的过程本身也有个ramp up的过程，很多时候以及面试来说的话也包括了ab testing。也有很多情况不做tes ...

说得很有道理，做ab test 有时候feature specific 的metric 也没办法直接比较。另外我看楼下有位同学说立项的时候可能规定好了success criteria, 觉得跟你说得也差不多。 非常感谢！

借个名字 发表于 2021-1-25 09:50
一般在立项的时候就已经规定好success criteria。跟那个比就好了。假如goal是规定的10% week over week 啥 ...

非常感谢！因为我只是在准备面试，没有做过真正的项目，你说的对面试也很有用