AB test的result怎么做price elasticity

新手data scientist，商科硕士IT Management偏Business Intelligence & Analytics方向。走狗屎运接到这个offer。上班俩礼拜。老板扔个活，从marketing部门run的AB test result中做个price elasticity出来。就这么多input。
我自己找到一封两个月前的邮件，说要以用户conversion rate为primary metric，然后有四个variation，分别是original price, 另外三个price.
关键我才毕业啊！12月才从学校滚出来。本科在国内读的土木工程类，学过一门课数理统计和概率论，商科学的统计用的教材名字叫Statistics for Management and Economics。

我真是一点儿思路都没有哇！我看看那个商用软件run出来的AB test result，只有一个summary的conversion rate。我倒是自己可以用鼠标从graphic中把每一天的visitor和cumulative conversion rate一点一点敲到excel表格中。反正run的时间不长，也就30来天。

我商科硕的时候，marketing那门课，price elasticity of demand = % change in demand / % change in price. 我自己在网上搜了一个更general的公式：E = (dQ/dP) / (Q/P). 另外还有说用logistic regression可以计算elasticity。这些太high level了啊。具体咋实现呢？

另外，有人对Optimizely软件熟悉吗？对。我们就是用这个软件去run ab test。那个unique conversion是啥啊？

唉，问题有点儿多，先谢过了！

Hi 楼主，

恰好刷到这条信息，希望我的回答能给你一点帮助。

我觉得刚刚进入职场，应该还是要Tied to the objective，避免自己fall into just a model的陷阱。也就是说，作为分析辅助决策的人，不要去强烈地猛扎进model里面，要有big picture，然后再考虑model。

所以说一开始要想，为什么老板要你做这个实验呢？当然是希望这个model在未来带给公司更多的收益，这个model是为了capture more customer surplus，落地一点说是为了选出最优的价格组合，这个在Marketing里面叫做最优定价组合，Price Mix Model，所以说这个model才重要。让我们回到price elasticity的概念，price elasticity的公式是，Price Elasticity of Demand = % Change in Quantity Demanded / % Change in Price，1以下为elastic，1以上为inelastic。

所以说你要做的task就是找出最优的定价组合，让overall revenue提升。也就是说，老板希望你找到那个最好的price，这个price x quantity的revenue（坐标轴曲线或者是直线下面的面积，即时会损失一点conversion，但是revenue是最大的）。
——————————————————
我觉得你现在最大的问题还是要去找marketing部门或者是其他部门拿到和这个实验和客户相关的数据，当然拿到什么数据，完全是取决你想回答的问题。问题我会在下面说。

回到Marketing使用optimizely的那个部门，你记得跟他们clarify很多事情，直接问的就可以说，除了just conversion和实验的流量本身，公司的database里面有没有更具体的关于客户的data with more granularity ？

我只是猜测你们会有很多在这个实验中，同时也已经购买了的customer的背景资料，比如说性别，purpose，地理位置，需求，package，然后这个时候你就可以根据这次的情况来预测，收集到所有数据以后，先开始做一些简单的dimension/segmentation，这个时候就会产生很多insights了，之后再上model。

另外significance这个东西，数据量够大，差不多10000左右的话，没有significance我们也会开始分析的。主要还是通过分析来tied to the business objective。significance并不是不重要，但是当decision making的时候，你要慎重考虑，do not buy in all significant results，要慎重。

如果你以后会经常给Marketing部门打交道，Marketing部门不懂统计的话，你最好简单給他们解释一下为什么significance对于你的分析很重要，我记得optimizely好像是可以分segment和group看更细微的significance的。可以问问他们有没有这些。
————————————————————————
做分析的时候，我比较喜欢的是先出大的方向和结论，然后一步一步深挖，举个例子，很多大number是可以马上得出结论的。然后再深度挖掘小的问题，这些小问题就刚好是你可以做优化的地方，比如说

流量数据：这次有多少人点进去了，但是没买？他们的停留时长和时间？什么traffic source来的，在他们看到这个price之前，他们对我们的产品有多了解？是第一次来，还是好几次了？

我们公司的产品，generally，是price elastic还是price inelastic？就看看<1或者是>1就好了。然后开始分层分区，divide customer segments，不同类型的客户的price elasticity是不是不一样的？
————————————————————
是我的话，我会先根据不同的coupon 1, 2, 3, 4个组画下面的图，

group1适用price1: planA - $20, planB - $30, planC - $40
group2适用price2: planA - $25, planB - $35, planC - $45
group3适用price3: planA - $30, planB - $40, planC - $50
group4适用price4: planA - $35, planB - $45, planC - $55

Y轴是price, x轴可以是客户number（assume每一个客户就买了一个），所以说你最终会画很多图，group,1,2,3,4一个图，把group 1,2,3,4整合起来，price区间也要画图，这个时候就是35块钱的y轴，但是x轴是4个group买的了

有一个图叫做pareto，它其实就是在算曲线的一阶导数，是Marketing里面常用的算budge optimal的图，我该投入多少的钱，比如说我投100块钱，200个view，150块钱400个view，200块钱我只有500个view，那么最优的就是150块钱，这个和你这个非常相似。

除了overall的conversion，最最要的是计算Margin 区间和lift，这么说非常抽象，最后翻译成商业的语言是，应该是在group 1里面，价格每升高5块钱，我们发现xxx更少/更多的人付费了；在35块钱到40块钱这里面，价格每升高5块钱，我们发现xxx更多更少的人付费了，而total revenue在35这个区间，是大于/小于xxx的

但是我想说的是，always go beyond experiments and metrics，你需要更多的数据来帮你回答问题，比如说price 1的decision period是多长？1个小时还是20分钟？很多人是看到20块钱就买了，还是看到了55块钱要考虑一下？这个会影响conversion。另外，这个是经典的价格组合，比如说每个分组里面有三个，你要去分别计算每个分组里面不同price的conversion？为什么，其实说白了55块钱price就是一个anchor，给你一个特别贵的，你就会去选便宜的。另外要去看不同的price offering里面，客户享受的功能是不是不一样，这反映了客户最多愿意为什么功能而买单。

——————————————————————
另外一方面，除了这次的分析，go beyond，还要考虑更多的东西，当然还是和自家的商业模式有关系，比如说，如果我们charge了50块钱，即使overall revenue提升，有没有可能损失了potential customer？他们在付费之前使用过我们的产品吗？如果我们可以让便宜的用户先用产品，或者是先付30块钱，然后再cross sell付费？我们的revenue和价格曲线又会怎么变化？另外，有没有可能在未来給不同的客户，不同的需求charge不同的钱？

没有买的那些人，他们有其他Substitute吗？我们的Churn rate高不高？是什么时间节点churn的，是什么？

为什么这样很重要，我猜测在你们这种business model，每增加一个客户，自己的marginal cost是非常低甚至不需要考虑成本的。
——————————————————————————
这个是一个YouTube视频，是类似于price mix model的，我看到里面用了r和tableau做了regression，不知道能不能帮到你，可以看看。好像这个YouTube是去predict一个probability，但是我没看，你可以看看。

https://www.youtube.com/watch?v=cnnrWoUSLEs

或者你YouTube和google搜索optimize price mix model
————————————————————————
其实楼主不需要灰心，我刚刚入职场的时候也是一枚菜鸟。不会都很正常，我觉得成长主要是明白你的问题到底是什么，明白了就可以去搜索精确的关键词，比如说你这个case，我会去搜索optimize price mix model in saas industry。

我比较讨厌那种对new grads说“加油，努力干”的空话，不分享方法和经验是不回成长的。我觉得分享一下我曾经作为new grads的经验。非常简单，我以前这些东西不会的时候，先考虑到自己公司的商业模式，说白了公司是怎么什么赚钱的，这是非常high level的，然后不断分解大指标，不断分解分解分到自己要考虑的细节指标，比如说对于你老板来说，它care的大指标是revenue和客户count，而你如何去实现呢？revenue来自于客户count x price，你如何通过分析去得出最优的组合，就是你的task。假设你的公司是freemium或者是saas，就可以去找这里面的指标，然后去搜索对应的关键词。

另外，一点职场小trick，一半问题一半result，持续跟进会让老板看到你的持续进步。不需要给老板一个成品，你可以做到一半了，你觉得有底气问老板继续跟进下一步的分析的时候，拿着自己的一半的results和分析，一半的问题继续，老板会喜欢带着一半问题一半答案的人。

希望对你有帮助！



补充内容 (2020-3-25 13:29):
sorry 汗笔误。。。。应该是1以上为elastic，1以下为inelastic

chanel66 发表于 2020-3-28 12:22
层主，你的回复很好！请问有什么网课或者书能学到这些 实际的case的解决方法吗？感谢

这个是一个很好的问题，我觉得第一就是多工作，如果没有工作经验的话，还是推荐多看数据分析的微信公众号和数据分析的书，或者是Product Management相关的书，知乎上和论坛里都提到很多PM推荐的书。

我觉得学习的话可以分两个方向，第一是看general的分析，它会让你了解一些商业模式，然后自己有一个框架，知道这种商业模式最看重什么方面的指标和分析，让你不至于走偏，非常推荐《Lean Analytics》，中文名字叫《精益数据分析》。

第二就是找那种tackle一个project的，深入了解一个小项目是怎么完成的，github有很多，比如说predict churn rate, cross sell probability这种，就相当于把大的指标分解下来用一个小project不断去深入了解一个小小的case，最后其实就是多google和youtube，google和youtube的难点就是你要非常清楚自己问题的关键词，比如说这个里面典型的就是price optimization model，打准keywords的话solution就很好找了。网课和书最多的就是给你一个大框架，大框架肯定没有错，大框架+小实践，我觉得可以针对自己感兴趣的问题去搜索相关的youtube和github，另外也要明白，其实很多不同的说法，都指向的是同一个问题，可以换些keywords多搜索。

希望能帮到你！

这个test是四种group对应四种price的吗？
如果是的话可以算出每种price的平均conversion rate,然后对比
我也是新人不知道能不能帮到你

你的treatment应该是下调产品售价 然后outcome是conversion rate 单纯的A/B test是不太好实现的 一定要在price里引入足够的variation
run完实验 搞个regression来estimate price sensitivity.

ppline 发表于 2020-3-24 23:45
这个test是四种group对应四种price的吗？
如果是的话可以算出每种price的平均conversion rate,然后对比
...

这个test是有4个group, 一个control, 3个experiment.
但不是4种price，确切说是4种price的组合，也就是说，每种price组合里面包括3个plan.
比如
group1适用price1: planA - $20, planB - $30, planC - $40
group2适用price2: planA - $25, planB - $35, planC - $45
group3适用price3: planA - $30, planB - $40, planC - $50
group4适用price4: planA - $35, planB - $45, planC - $55

最后result里面只有cumulative的conversion rate. 就比如说，run了30天。
group1, price1, conversion rate 30%
group2, price2, conversion rate 34%
group3, price3, conversion rate 32%
group4, price4, conversion rate 33%.

但还有个小问题是，group4, price4的statistical significance只有60%多，远远达不到95%, 那这组数据其实是没有统计意义的。哎，run这个test的marketing部门的人，我感觉不懂统计，问他significance，我看他一脸茫然。我老板倒是统计phd，但不想操心这个活，让我独立完成。额……

placeholder 发表于 2020-3-25 00:49
你的treatment应该是下调产品售价 然后outcome是conversion rate 单纯的A/B test是不太好实现的 一定要在pr ...

谢谢指点啊。实验他们好像已经run完了。数据就像我回复2楼朋友写的，我完全不懂这个数据咋处理啊。
你提的"price里引入足够的variation"是指啥啊？另外regression的independent variable是啥我都想不出来，estimate price sensitivity就应该是elasticity的value了我理解，那最终output是啥呢？是个啥样的表现形式啊？

huanglin82 发表于 2020-3-25 01:48
谢谢指点啊。实验他们好像已经run完了。数据就像我回复2楼朋友写的，我完全不懂这个数据咋处理啊。
你提 ...

http://www.stat.columbia.edu/~gelman/arm/chap9.pdf

placeholder 发表于 2020-3-25 01:51
http://www.stat.columbia.edu/~gelman/arm/chap9.pdf

好的，多谢指点方向。我去研读一下

从假设检验的角度来说我会觉得30天中，每天算一个group的conversion rate，然后做一个ANOVA比较四个组的均值比较make sense（不考虑时间造成的差异）。如果每个组只有最后算的一个conversion rate，即最后只有4个number，那我无法想象怎么做假设检验。
如果每个组的每个plan也有个conversion rate，也还算可以。就把每个plan不同价钱对应的conversion rate拿来fit一个logistic regression形状的curve看price sensitivity 好了。如果一定要三个plan合在一起得到一个conversion rate，那就用总价做x，conversion rate做y，来搞这个curve fitting吧……也勉强可以接受，毕竟四个组分别是等差数列

lisha0803 发表于 2020-3-25 06:49
从假设检验的角度来说我会觉得30天中，每天算一个group的conversion rate，然后做一个ANOVA比较四个组的均 ...

谢谢回复啊。今天下午和老板说了一下数据，她也没想到这么少。她说本来她以为有demographic的数据，可以做个customer segmentation，然后看看哪些人对价格更敏感。唉，这些都是太high level的讨论，我不光是high level思路不清楚，底端也没能力写代码实现。真心觉得这个职位不适合我，我也不适合这个职位，根本就是稀里糊涂只看title和salary就接了，但也确实就这一个offer。不抱怨了，我再研究一下，能走到哪儿是哪儿吧。再次感谢回复了。ANOVA我在统计课上学过概念，老师一节课讲完怎么用Excel下拉菜单出报告。哎！