DS product case的细节总结和tips

最近在准备跳槽product ds，花了很多时间准备case，刚刚面完最后一个onsite，终于可以稍微闲下来一些，想把平时学到的和思考的东西分享给大家，顺便一起讨论交流。因为板上关于case如何定框架找思路的分享已经很多了，我就写写给那些edge case和小细节，希望能帮已经准备得八九不离十的大家拿bonus分。disclaimer：只是我自己的思考和总结，肯定会有疏漏或者不对的地方，欢迎大家指出，一起讨论。

clarify环节
一般大家都会在听完product题后，先clarify一些ambiguous的表述，理解一遍产品和context，这一步的重要性大家都懂我就不提了。我想给的tips是，一般clarify完之后我会跟面试官重述一下我对这个TA描述的product的理解。这样一旦有理解错误的地方可以及时纠正。还有就是除了大家平时都会clarify 的这个新的feature是干嘛的之外，我们还可以从user 和use cases作clarification，这个有助于我们之后定针对哪个user的什么样的goal。这个也会暗示面试官你有全局观，不只是focus在individual user上。但是这个不用停留很久，一笔带过就可以。就比如说，如果在谷歌地图上加一个新feature，怎么看success，那这个时候除了clarify这个feature是什么，我们还可以follow up哪些groups（user, small business,advertiser)会用到这个feature, 怎么用这个feature。因为我们这个interview可能只有时间focus在一个group上你觉得我们先讨论individual user怎么样？然后就可以继续讨论goal了
    1. Users that use the product (small business owner vs user, creator vs follower, user and advertiser)
    2. Use cases of the product (private event vs public, small group vs large, view vs create)

讨论goal的时候
Always circle back on the point that focuses on the company's mission. 比如FB is to connect and build community. Google is to organize the world's information and make it universally accessible and useful. 这个怎么应用呢，就比如说有一个feature，它的目的是想要增加user的group page engagement，但这个就是眼前的目标，答到这点对junior职位已经okay了，但是对senior职位来说，会需要联系到ecosystem的goal也就是要增加user的总体的Facebook engagement. 这个同样适合ab test 结果的trade off， 比如说story使用上升，post使用下降要怎么办的情况。

AB test 的metrics
看面经的时候，很多回答都定义了很好的goal metrics，但是其实我平时工作中跑ab test的时候不止会看这几个，我在这里拿fb举个例子。至于面试的时候，最基本要答到的就是goal metrics，其他你可以根据interviewer的节奏和是不是想深入聊metrics再展开。
1. Goal metrics (success metrics)
2. product/feature本身（这个是只有treatment 才有的metrics，比如说一个新feature的CTR，这个metrics不是为了比较control和treatment，而是如果这个experiment要launch to production那我们可以对整个population的反应有所估计）
3. ecosystem metrics（engagement/time spent/sessions/Retention/revenue 此处讨论对FB总体的impact）
4. engagement from other features (group，marketplace，public pages to understand potential Cannibalization)（此处讨论对ecosystem 的potential risk）
5. Guardrail metrics (something to watch out for, cancellation rate, bounce rate, friction rate, latency) （此处讨论这个feature的potential risk）
6. sanity metric （此处确保launch的实施没有问题，这个udacity的AB testing的课也说了）
Bonus point是 metrics的prioritization和normalization
如果你列了所有metrics那false positive有可能变多，这种情况要做metrics p value的calibration (Bonferroni correction)这个知道就行，in case 面试官问

AB test 的流程
1. know business goal
2. define goal metrics
3. Unit of diversion - views, users, or cookie
4. Population - to run experiment only on the population that will be affected (instead of all users, use users who initiate the checkout process for a checkout feature)
5. Sample size - based on the baseline, practical significant level, significance level, power
6. Duration - considering usage pattern, business cycle, and novelty effect, also if the experiment is risky or not reversible, should start with very small size and duration should be longer
7. Assignment - how to split control and treatment (random? Network effect?)
8. sanity check & check if the result is significant to reject the null hypothesis and accept there’s a difference in control and experiment
其他：
Novelty/Primacy effect可以快速提到略过，最rigorous的方法就是直接test new users
Simpson paradox可以在设计实验的时候就考虑进去，比如说condense的post可能不同文字上显示效果不同，所以不同文字可以分group test。不提没事，提了是bonus point。

了解一个已经发生事情的影响(without AB test)
- 如果是所有人都有access
1. 看key metrics前后对比，t/z test。 con: time effect，如果时间长的话，变量太多
2. Diff diff regression (两个group：assumption是这两个group的metrics有相同的trend)
3. 可以用time series预测不launch的baseline，做比较
https://www.unofficialgoogledata ... ra-of-big-time.html
- 如果是launch to some users, 或者user自己opt in (有selection bias）
1. 可以用synthetic user (propensity score matching)去比较，然后做pseudo t/z test
其他资源（causal inference）
https://medium.com/teconomics-bl ... -table-f2637e9f15a5
https://cdn1.sph.harvard.edu/wp- ... nrobins_30mar21.pdf

其他tips
很多情况没有正确答案 ，把问题当作一个工作中会遇到的情况，讨论pro and con而不是找正确答案
如果是survey results一定要讨论清楚提交的用户是不是representative（self selection bias的可能)
避免buzz word，如果建model，想清楚model的y是什么，因为interviewer真的会问得很细。制定一个可行的方案或者analytic methodology，对于DS analytics职位来说，logistics就很好用，甚至可以解决recommendation model的问题。

面试一路过来收到很多贴子的启发，感恩！如果我的notes有帮到大家的话也请顺手加米 :P 祝大家面试一切顺利拿到最想去的offer！

赞lz。onsite有结果了吗？最后去了哪里？

谢谢楼主的总结！！感觉受益良多！！

学习了 赞楼主分享

赞！最近在转data~ Ab testing似懂非懂的~谢谢楼主分享！学习了👍👍

楼主写的很好 收藏了

感谢分享

感谢楼主！

楼主写的好详细！赞！

楼主写的好好！ 感谢

thank you!