优步挂经，分享一道product题

这算是我第一个考了product sense的面试，虽然挂了，但对我启发挺大的，来跟大家分享一下。
Interviewer背景： Engineering的三哥，director level
全程寒暄瞎扯比较多，这里就不赘述了。product sense题其实就一道：

您好！
本帖隐藏的内容需要积分高于 136 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 136 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

我：This makes perfect sense.

我也来说说思路，希望大家能提些意见。我觉得第一步是要跟面试官redefine 一下问题： 要改变做背景调查频率的目的是什么，是为了提高安全性，从而提高用户口碑？还是为了别的什么？然后再define一下他们想要对比的success metrics？ 比如user对司机的评分average 会不会提高？ 然后AB test，看看改变频率会不会对success metric有显著作用。最后再看看对长期近期impact是否足够大，从而要做出改变？

这些感觉没答到A/B Testing应该必挂的，就像我以前不懂，被人问加个按钮在网页上有什么影响之类的一脸懵逼答了一大堆乱七八糟，其实知道A/B Testing之后看到这些“如何确定”题感觉都是有套路，不过这题怎么testing感觉有很多可以讨论的地方求大神指导，例如怎么分group, 每个司机开的距离不长，评分不同、车的Class不同之类的都会带来很多Bias，可以用一个Zone的Average或者几个变量一起来Cluster减少Bias，至于时间更是个大Bug，正常最好还是测个几年，但是商业决定上肯定是不允许那么长的，感觉只能用Propensity Score的类似方法，找出那些与一年一测最相近的但是没有一年一测的用户，来互相对比各项Metric看看有没有显著差异提升，有的话再看Cost和带来的potential benefits权衡一下。

回答之前先问清楚背景调查主要目的是什么，比如说是从安全角度考虑，然后比较不同频率调查对于安全的影响。

这不是典型a/b test题？

yyy77 发表于 2019-4-20 07:18
这不是典型a/b test题？

怎么个AB法？

很想知道怎么做这个分析

duopxie duoxie

duoxie duoxie

多谢楼主 请问面试的什么岗位？

yanmg163 发表于 2019-4-23 01:46
我也来说说思路，希望大家能提些意见。我觉得第一步是要跟面试官redefine 一下问题： 要改变做背景调查频率 ...

嗯嗯，这个思路比较DS！希望有更多大佬来brainstorm！