DS Take-Home Challenge - 40 Product Questions總結(上)

Medium好读版：产品数据分析热门面试问题-上-13d619cf60b1


---

已过的假日，我把A Collection of Data Science Take-Home Challenges的40 Product Questions读过，一下子学习到许多以资料科学家的角度解决产品问题的方法，决定在此将本书的知识点和套路写一份总结。
A Collection of Data Science Take-Home Challenges是前AirBnb资料科学家Giulio Palombo整理的一份资料科学家面试经典题库，其中包含20个Take-Home Challenges，40个Product Questions以及6个SQL题组，有兴趣的人可以直接到Data Masked官网了解：。此书中的40个题目其实并不是很好分类，因为一个知识点会穿插在多个题目中，一个题目中又包含多个知识点，简单来说就是一个多对多关系。不过我还是尽力以我的理解整理出几个框架和自己改编的范例：

上篇：
一、Business Improvement框架
二、Product Improvement/Add Feature框架
三、Problem Identification/Metric went down框架
四、Fraud Detection
五、Ads & Marketplace Specific

下篇：
A/B Testing

首先，我们需要知道在资料科学家的Product Case Study中，绝大多数情况，面试官不会直接告诉你要优化的Metric，而是会告诉你模糊的Business Goal，譬如：Improve Retention、Growth、Mobile Usage，你的工作就是要将这些Business Goal转换为可量化的Metric。身为一位数据专家，如果你没有做到这点，基本上你的面试已经失败了；相反地，如果你达到这个任务，90%的问题也解决了。
Ok，那么怎么选取合适的Metric？怎么找到影响指标的重要Variables(变数)？怎么找到可行的改善方法？这本书透过40个例子一一示范给我们看。
看好了，世界🐶。

---

一、 Business Improvement框架
如何提升[某个网站]的[某个商业目标]? (e.g. 如何提升微信的用户参与度？)
第一题，作者就以一个Business Improvement的题目开场，作者提出的解题框架如下：
1. 将Business Goal转化为Metric
2. 找到可能影响此Metric的Variables
3. 选择一个Model来用[②Variables]预测[①Metric]
4. 设想一些可能的Model结果
5. 提出Next Step

作者核心的概念，就是透过Data Science的方法找到影响商业目标的重要因素，再着手改善这些因素。我们一步一步的分解每个步骤：
1. 将Business Goal转化为Metric
在本书中提到选取Metric有几个要点：
① Concrete(具体):
[知乎上的问题回答率] ❌
[知乎上的问题在一天内得到至少一个回答的比例] ⭕

② Related to Company Mission:
微信着重使用者之间的互动：考虑互动因素
知乎着重高水平的内容质量：考虑质量因素

③ Related to Company Growth:
User Retention(/Engagement): [使用者每天平均讯息量]
User Acquisition: [每天的注册量(在注册后两天至少有传一封讯息)]

④ 避免Vanity Metric(虚荣指标): Metric A bot could improve
如果一个机器人创造了一堆假帐号，你的Metric会上升吗?

⑤ 使用者比例/百分位通常是比较Robust(稳固)的Metric
[16小时内得到回覆的比例] ⭕
优点：1不受Outlier影响 2考量到整体状况
缺点：无法反应回覆时间“15小时➡1小时”的进步，建议使用多个比例Metric。

[平均回覆时间(16小时内有回覆的情况下)] ❌
假设平均回覆时间原本是8小时，后来一些原本不会回覆的店家开始很低效的回覆(平均回覆时间15小时)，那么整体平均回覆时间就被拉低了，但显然整体回覆的状况是在进步的才对。
然而，若该Business Model很大程度依赖Outlier (e.g. Freemium, Gaming)，用比例相关的Metric就不适用了，会抓不到Outlier。

⓺ 多数情况下，记得加入时间条件
[每个用户的平均按赞数] ❌
[每个用户每天的平均按赞数] ⭕

⑦ 将Long-Term Metric转化为Short-Term Metric
当被要求评估长期效益时，我们需要建预测模型来判断有什么短期指标能够很大程度上反映长期效益，如果没有这样的短期指标，我们就要用整个预测模型去评估长期效益。(e.g. Retention Rate, Lifetime Value)

2. 选取适当的(Feature) Variables
要选取哪些Variables作为Model的Input，与我们所想做的分析任务和产品背景有密切的关连，相当考验我们对该产品的熟悉度和直觉，不过作者还是给了一些建议，我整理如下：
最General的做法，就是考虑user characteristics/demographic(age, sex, country, etc.)和behavioral(related to their browsing behavior)。
如果被问说user characteristics跟behavioral哪个比较重要(特别是Ads相关)，behavioral通常会是更有用的变数，原因是：①使用者经常会帮家人、朋友买东西，这个是user characteristics无法猜测的。②以广告来说，时机是最重要的，这同样不是user characteristics可以表达的。

"Famously, Facebook revenue spiked when they moved from demographic-based ads to using browsing data."
处理M

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

rofiles before sending the connection request. Add variables about their connections, such as school, location, as well as their connection connections.
* Possible Fraud:
Ⓐ They have very few connections who went to NTU.
Ⓑ They have several NTU connections, but they had a very low acceptance rate, i.e. to get 100 connections from NTU people, they had to send way more connection requests.
Ⓒ Their connections are not connected to each other, meaning they randomly sent connection requests to other NTU users, instead of classmates or lab-mates who should be all connected with each other.

---

五、Ads & Marketplace Specific
淘宝上的牛仔裤卖不好，你会怎么评估是Demand问题还是Supply问题？
在没有Labeled Data的情况，你会怎么判断一个广告是不是在钓鱼(标题党)?
如果你在Google工作，你会怎么提升他们的广告点击营收？
最后我节录几个广告跟商场相关的题目：
1. 淘宝上的牛仔裤卖不好，是Demand问题还是Supply问题？
Demand:
看牛仔裤的Ads click-through-rate (CTR)
看搜寻牛仔裤并且有用到筛选功能的人
看搜寻牛仔裤并且session time高于一定数值

(添加一些条件能够排除掉Noise)
Supply:
. 1point 3acres #Conversions/#Searches
Filter usage：频繁使用价格筛选 & Low Conversion ➡ 价格过高

2. 在没有Labeled Data的情况，怎么判断广告是不是标题党?
这种所谓的Clickbait(诱饵式标题)，就是一种典型的短期正效益，长期负效益行为。
① 以[CTR]和[CTR两周内变化(已点击过的使用者)]做为两个Dimension进行分群，[CTR]高 ⬆ & [CTR变化]低⬇(效果骤降)的Cluster就是Clickbait。
② 当我们已经判断出哪些是Clickbait，以后就可以用Supervised Learning去防止这种情况出现。
3. 怎么提升Google的广告点击营收？
广告点击营收组成：
① Ad click through rate (CTR)
Better targeting：1 Build products to collect better and more specific data about user intent. 2 Improve CTR predictive models with more advanced techniques.

② Total number of times ads are shown to a user
Increase number of page views：Faster browsing.
Increasing the number of users or increasing page views per user：网页无限下拉，不需换页(减少浏览阻力)

③ Cost per click
Maximizing probability of a user converting on the advertiser site: 1Focusing on probability of conversion on the advertiser site 2working with the advertisers to improve the user flow after people click on an ad.

楼主还特地发了简体字版本，很用心哦

Medium連結改成：https://bertmclee.medium.com/產品數據分析熱門面試問題-上-13d619cf60b1 有興趣的朋友可以上去看

hello楼主 请问可以分享一下a collection of ds take home challenge 中product questions的部分吗～有偿～超级感谢～

非常感谢

好棒的分享啊 太牛了 马克慢慢看

楼主啥时候更新下篇A/B Testing 555
等一个更新！

求下篇！！！

楼主的总结真的很用心，感谢！

写的好好，楼主太棒了，等更新！