[经验总结][6千字长文干货] 资深面试官眼中的数据科学案例分析面试

mark一下

interviewML20 发表于 2020-12-26 05:57
谢谢支持！这个问题我建议的回答思路是， 利用历史信息，通过model-based method来建立“前3天的数据信息 ...

感谢楼主！非常好的思路，有3个followup questions 楼主可以帮忙clarify一下吗：
1. 也就是说 在这种情况下，根据3天的数据推断 causal 其实是行不通了，只能利用3天的数据建模（correlation）,预测我们想看的metrics （是用一个metrics 吗 还是对不同的metrics 建不同的模型），来看一下变化, 不知这样理解是否正确？
2. negative treatment 是什么意思呢，我的理解是这3天收集的数据都是在一个ab test，那只是condition on 一个treatment 呀，两组在其他variable 上应该都是同质的吧？
3. 推断long term effect 的方法可以讲一下吗？（之前看到的一些blog 有说 找shorterm surrogate？）

mark一下

这个太有用了，正在找类似的总结，感谢楼主！！

liuxiaoxuan 发表于 2020-12-26 06:10
感谢楼主！非常好的思路，有3个followup questions 楼主可以帮忙clarify一下吗：
1. 也就是说 在这种情 ...

不客气。以下是我的一些想法，大家一起讨论：
1) 是的，你可以这样理解。我们这里研究的expectation effect肯定是对应着一个metric。在这道题中，由于我们无法在实验中收集到足够多数据（来达到需要的power），因此我们可以尝试只收集这个metric的早期信息，也可以同时收集一些其他feature的信息建立correlation来估计这个metric的expectation effect。如果你只收集这个metric的早期信息，那么只能用time series model了，如果你还收集一些其他features，就可以构造regression model or classification model来预测了。这样做肯定是不严谨的，但是就像我在前面说的，它可以作为一个trade-offsolution来解决一些实际问题。
2) 抱歉我前面说的这个地方太口语化了，关于“剔除一些明显negative的treatment减小公司的损失”，就是指的你要测试的那一个treatment. 我想表达的意思是，如果我们可以通过一些Model-based的方法， 在前三天就推测出这个treatment的效果肯定是不满足要求的， 那么我们可以尽早地retire这个experiment。在online ads领域，marketer总是会去尝试各种audience segmentation的方法，这些方法大部分都需要ab testing来测试可行性，但是我们没必要对每一个方法都run充足的时间，可以用上述方法加速实验过程。
3) 不太理解你说的“推断”是啥意思。我前面提到的“推断”，就是在1)中说的构造model来简历correlation来估计这个effect, 当然这并不是严谨的方法。因此教科书中绝对是没有的。这种做法一般都是manager或者marketing team根据实际需要逼DS team搞出来的，好用就行 ：）

interviewML20 发表于 2020-12-31 08:21
不客气。以下是我的一些想法，大家一起讨论：
1) 是的，你可以这样理解。我们这里研究的expectation eff ...

感谢楼主， 十分受益！

Thanks for sharing

interviewML20 发表于 2020-12-21 13:32
非常感谢支持！恩， 我在写一些数据科学岗位面试（DA, DS, MLE）常见基础知识点的总结， 之后分享给大家 ...

really exciting to see this post, wanna build something extra on your answer(随便写写，别当真了)

这个朋友的问题是：如果abtesting p value稍微大于0.05或者正好等于0.05， 怎么抉择怎么解释。 这种题怎么答？

应该从1）数据模型本身，2）商业business application and decision，两个方面来回答，您刚刚说的是1）数据层面的trade-off，我加一点商业的理解

这个最重要的context就是这个是一个什么样的business model，2b, 2c, social, saas, or e-commerce? ab测试最终的目标是为商业模式做决策和服务

假设p-value是擦边球0.05，这个时候要看数据波动性，standard deviation，把user的各种metrics给plot出来，看distribution的峰值，为什么这么说呢，因为数据波动大的，说明这个版本的customer体验是不均衡的的，波动小的，说明几乎所有人的体验都差不多，换句话说，波动和峰值小，对于一个business来说，你的risk是更小的，这样对于后续的personalization, precise targeting和customer segmentation都会有作用得多，所以说clarify context很重要，因为对于不同的business model，risk tolerance是不一样的

所以说，第一个要明确的是，如果这类情况发生，结合其他用户数据来选波动小的那个版本

我认为比较好的回答顺序和样本应该是，欢迎指正
1 clarify business context，赚钱公式是什么
2 在customer journey,或者是funnel的哪一环做的测试
3 基于什么样的assumption做的假设（用户价值）
4 除了看testing metrics的p-value，还要看其他metrics，例如invariant（neutral的不应该变的），guardrail（反指标）
5 继续看following后续的conversion（一般来说，ab测试测不出中长期最后的purchasing conversion，可以基于历史数据用一些estimation和proxy）
6 有条件看看之前历史上有没有基于此assumption做过类似的ab测试，结果是什么（注意customer base在公司成长过程中的变化）
7 最后decision launch or not launch，并且说明launch的potential benefit和risk，不launch的gains和损失

我认为只有这么做才是榨干一个测试的价值

另外在工作中，很多情况下，p-value<0.05，我们也没有上线过，p-value>0.05的时候也上线过产品

ps：我之前也写过很长的面经，欢迎点评交流一下
https://www.1point3acres.com/bbs/thread-587908-1-1.html

补充内容 (2021-1-24 05:46):
我刚刚发现这个楼主是个求职培训卖课的，我的文字你看到有用我很高兴，想申明一下我在我一亩三分地的热帖里面无意看到这个帖子，我从来不认识这个楼主，没有任何利益联系，我的评论也不是给这个楼主站台或者是写软文

补充内容 (2021-03-21 06:02 +8:00):
我就说谁会跟我一样那么蠢无聊时免费在一亩三分地上面给别人答数科的题，结果果然是个卖课的，笑笑就好

太赞了！感谢

非常有用的干货信息。谢谢楼主！