我是FB(WhatsApp) Data Infra engineer, Ask me anything

做abtesting 的时候 是从全球抽2% sample 做好呢，还是抽一个国家所有的user 当sample 呢，两者有什么坏、好处 呢，个人感觉 后者会在研究geographic 的时候有优势，前者在不知道idea的时候做初步判断或者当baseline 会更实用？ 请楼主提供些思路可以吗，感谢！

liuxiaoxuan 发表于 2019-11-14 02:32
请问楼主，如果 whatsapp 打算推出一个checkout feature，或者类似的shopping feature，从fb和商户两个方面 ...

这是个面试题吗？

liuxiaoxuan 发表于 2019-11-14 02:35
做abtesting 的时候 是从全球抽2% sample 做好呢，还是抽一个国家所有的user 当sample 呢，两者有什么坏、 ...

全球2%，研究对象是全球，某一个国家所有user，就是要研究这个国家的user。没什么好坏、优势，适用于不同情况而已。

18258170717 发表于 2019-11-14 09:20
这是个面试题吗？

不是 地理看到的，想问一下

您好，请问你们做的ABtest frame work主要包括哪些内容呢？比如：数据抽取/指标计算/图表展示？关于项目的提出确定，metric定义以及最终结论产生是有专门的analyst来做吗还是你们一起做？

楼主态度真的是非常好👍

liuxiaoxuan 发表于 2019-11-14 09:46
不是 地理看到的，想问一下

1. WhatsApp不会推出一个checkout feature，如果脑子抽筋真的想做，也会另外做一个app。当然fb marketplace已经有了，没必要再做一个，只有可能让WhatsApp integrate
2. 如果真的一定要做的话，那也会小范围先尝试。对于fb和商户基本只有好处，毕竟用户多。
3. 一定真要说坏处也是对用户的坏处而已，WhatsApp的理念是做utility，就像是一个手机肯定能打电话，发短信一样，WhatsApp就是为了取代手机本身的功能。如果加入太多杂七杂八的feature，用户反而可能不适应。

晞晞 发表于 2019-11-14 10:31
您好，请问你们做的ABtest frame work主要包括哪些内容呢？比如：数据抽取/指标计算/图表展示？关于项目的 ...

具体的也不好细说，但我们不会做和数据处理、可视化那部分，毕竟已经有现成FB的系统可以对接。

K姐 发表于 2019-11-14 11:20
楼主态度真的是非常好👍

得到K姐的肯定，好开心:)。最近看了K姐推荐的nonviolent communication，收获超多！

请问楼主，用click through rate, 做metrics，的话，要是怎么设计实验 sample呢，每小时、每分钟算一个指标吗。那如果是用DAU 呢，如何划分control 和test, 保证两组independent呢