字节-电商数分-面试题目及自己思考的答案

先叙述一下面试当时的大致问题以及回答。再写出过后思考后的回答。最后附上职位简述。

字节电商数据分析师

   0. 介绍一下自己，说说重点的项目。
   1. 再具体说一个做过的项目，有什么具体的成果和提升的指标。
   2. 你平时有网上购物的经验么？说一个你常使用的APP。
          我说的APP有抖音、淘宝和咸鱼。
   3. 一般都会以什么方式购物？了不了解抖音电商链路。
   4. 咸鱼是一个很有意思的东西，让我们来谈谈咸鱼吧。你觉得这个软件有什么做得不好需要改进的地方？
          C2C 的比较多，商品质量和卖家信誉难以保证。
   5. 你觉得可以怎么改善这个问题（商品质量和卖家信誉）？
          提升完善卖家验证机制（实名认证等），增加卖家信誉评判标识。
   6. 好，就比如你说的这个提升信誉评判指标。我们想要上线一个功能，在信誉不好的卖家脑袋上贴上一个差评的标签，怎么设计AB实验？
          ① 明确实验目的：改善交易产品质量，提升用户体验，提升复购率和整体销售额。② 确定实验指标，提出原假设和备择假设。③ 设定显著性指标和最小可接受的阈值（千万级别用户平台一般 1%）。④ 确定样本量和实验时间。⑤ 实施实验得到结果，判断是否接受结果。
   7. 上线了功能以后，整体销售额下降了，但是好评率上升了，怎么办？
           好评率可以衡量用户体验，长期指标。销售额更多衡量短期效应。分析销售额下降的原因：政策？疫情？大环境？竞争对手？内部原因分层/分渠道下降维度分析？
   8. 回到抖音电商上来，拉新，对新用户进行视频内容推荐，如何选取推荐的内容？
           内容与用户角度推新：选择相似的用户（性别年龄等）喜欢视频进行推荐，或者根据感兴趣的视频推荐内容相似的视频；推荐优质的视频。
   9. 如何衡量这些视频推荐是有效果的？
           做AB实验，选取互动率（视频转发评论）、点击率、GMV等。
   10. 再系统的说一下你刚才的那些指标？
           （回答逻辑混乱）
   11. 你其实可以用历史数据看平均指标。
           好的（乖巧）。
   12. 销售额周增长了20%，如何归因？
           用户增长模型（AARRR、AIPL）；归因模型。


学习了 Udacity 的 AB Testing 课程，再来回答一下 AB Testing 相关问题的答案。

6. 好，就比如你说的这个提升信誉评判指标。我们想要上线一个功能，在信誉不好的卖家脑袋上贴上一个差评的标签，怎么设计AB实验？
明确实验目的，
        我们想通过贴差标签的行为，减少用户买到质量差产品的概率，提升用户购买体验，惩罚不良商家，提升平台整体信誉，增加平台销售额。
        漏斗分析，理解整个流程：以手机端为例，我们在什么地方可以看到或者希望增加这个标签？比如登陆界面（咸鱼）、搜索界面、关注界面等都可以看到用户名的信息。假设我们想在主界面（咸鱼登录界面）增加这个标签，那么漏斗就大概是：登陆主界面 -> 点击感兴趣的产品 -> 点击“我想要” -> 点击立即购买 -> 付款 -> 完成交易。

选择实验指标，
对于 evaluation metrics，
① 我们影响的是用户登录主界面时看到的场景，就像上面漏斗分析中指出的，我们影响的过程是第一个“->”部分即登录主界面 -> 点击感兴趣的产品。所以这里的 首页商品点击率 看起来是一个很合理的应该去考虑的指标。即一段时间内（小时、分钟等）在主页上点击某个商品的人数除以所有浏览页面的人数（要去重）。定义 unit of analysis（分子分母如何定义“人”），因为首先这里是一个 user_visible 的 change, 我们不能用 event-based 去衡量，否则用户可能会看到不同的信息而抓狂，所以应用 cookie 或者 user_id。如果分子（点击商品的人）可以是未注册用户的话，那么可以用 cookie 作为 unit of analysis。这个首页商品点击率 指标的问题是，我们期待它怎么变化呢？因为上线了这个“差评标签系统”，可能一开始短时间内用户看到了这样的标签会选择不去点那些差评商家，从而导致点击率下降，但长时间上来说这可能会增加用户对平台的信任而增加点击率或者增加用户对亲友的推荐等。我们如何期待这个指标的变化以及在汇总的整体指标（所有 evaluation metrics 的汇总指标，可根据各单独 metric 乘以特定权重来定义）中分配它的系数呢？chatgpt 说可以根据实验的不同时间改变这个指标的分配权重，甚至是正负号，如果指标先减少后增加的话，而这个还有待考证和思考。

② 如前一段分析中提到的，增加这个差评标签可能短期内减少用户点击率但增加用户体验或者长期有利。有一些指标可以在短期的 AB 实验中模拟探测长期的影响，如留存率、用户推荐（Net Promoter Score）、用户参与类指标（日活跃时长、活动数、互动率等）、用户终身价值预估（CLV: customer lifetime value）。我们可以选择留存率：发生购买行为的唯一用户在 14 天后仍然活跃的数量比上所有发生购买行为的唯一用户。留存率指标的问题，一个是它需要很长时间来开始计算（实验开始后 14 天才能开始计算），这出现了一段时间的空白（实验开始初14天），这段空白时间可以专注于其他指标的计算和做探索性分析（EDA exploratory data analysis）；还有一个问题是（也是很多购物场景其他指标的问题）用户发生购买行为的频次一般不会很高，这涉及到具体的平台和场景，但我们可以在筛选人群的时候做 cohort analysis instead of population，即做进一步筛选，选择共同特点（如购物频次较高的、在近似时间开始使用平台的人等）的用户群体。我们还可以选择用户日均活动数：sessions per user per day (or per hour depends on data)，如何定义一个 session 呢？在文尾的注释有讨论。或者每次活动平均互动数。这个指标还有个潜在的问题是它很有可能非常的 stable，就是一个人一天的平均活动数可能不会怎么变，对于你上线的这点小功能，而如果你发现比较大的变动更多时候是说明你的实验设置的有问题，当然这也要具体看数据情况，也可以把活动数这种指标当作 invariant metrics 来看。

③ 与评价、用户体验等有关的 metrics。比如在之前的漏斗分析中，用户点进产品信息界面后，由于增加劣质商家标签减少了劣质及虚假产品的浏览，可能会增加用户完成购买的比率，即购买转化率：点击进入某一产品并完成购买流程的用户数量除以所有点击进入某一产品的用户数量。其他可考虑的指标：平均评价分数、产品收到的评价总数、评价情绪分析（使用 NLP 相关算法发掘评价中的情感信息，开心愤怒等）、用户反馈等。

④ 我们想要平台 financially sustainable，销售额 是我们想衡量的一个指标。但销售额是一个短期指标，短时间内上线标签系统可能会导致买家减少购买行为、被标差评的卖家减少平台使用时间等从而导致销售额下降。我们需要综合考虑一些长期指标，如留存率、用户推荐（需要问卷调查）、用户参与程度（APP日均使用时长、number of sessions per user & interactions per session*）等（如①②③中所述）。还有一个问题是销售额可能会趋向于符合 perato distribution，就是常被提起的二八定律那个 distribution，少数人贡献了绝大多数的销售额。那我们选择销售额的什么 summary metric 呢？选择平均数或者中位数很可能会不 robust 或 sensitive（Udacity 课程上有很好的例子具体说明）。可选择 90% tail 等指标，去看是否 robust 和 sensitive。

总结来说我们可以选择首页商品点击率、留存率、日均活动数、购买转化率和 销售额 几个指标。有两个问题首先我们想了解各指标的 distribution，从而计算他们的 variability 等，还有我们要定义 total 汇总的指标，比如可以按照权重分配来加总各个指标。
各指标的 distribution : 点击率 和留存率 趋向于符合 binomial distribution，在样本量足够大的时候 (Np>5 & N(1-p)>5) 可以用 normal distribution 近似计算 variability。日均活动数 趋向于符合 poisson distribution (a discrete distribution with a long tail， 但 assumption 中说在各个时间段（每一天）应有相同的活动数，这点不一定符合，还是要看具体的数据)。销售额 可能趋于 pareto distribution，我们一般不取平均数或者众数而是 percentile (根据 sensitivity 和 robustness 具体定取多少 percentile)。
如何制定汇总指标：我们可以给各指标分配权重然后计算得到最终的汇总指标，对比计算单一指标这样可以综合考虑长期和短期的趋势，但也有很多缺点，如：各权重比例不好具体定义以及说服别人接受；在最后的综合指标产生变化时难以归因，可能整体指标涨了，但有两个小指标下降了三个小指标上涨了这样；指标之间往往是高度关联的，即某一个小指标的增长或减少可能会带动其他小指标增长或减少，而我们想优化某个小指标的时候也会带动其他指标始料未及的变化。Anyway，一些大公司（如微软）还是会用多个指标并分配权重。OEC (Overall Evaluation Criterion)，一种说法是计算各个 metric 的 variability，然后按照他们加总比例分配权重系数，也就是说 variability 越大的分配的比重就越高，这是因为 variability 更大的指标有更大的潜力对最终的 metric 产生明显影响。

对于 invariant metrics，
首先是 number of user_id/cookies 在 A/B 组（根据我们的 unit of analysis 以及 unit of diversion 来决定）。然后还有一些，在我们漏斗分析里面实验不影响的流程，比如最终完成付款的人数比上点击“我想要”的人数，这可以衡量并保证我们的付款部分系统没有出现什么问题。

累了有点写不动了，先发出来这帖，还有很多可以探讨的以及我其他字节面试中的零碎的问题，再开一个帖。

职位简述
数据分析师-电商方向
产品 - 数据分析
社招
职位描述
团队介绍：Data-数据分析部门负责字节跳动旗下核心业务方向的数据分析工作。业务线既涵盖抖音、今日头条等较为成熟的产品，也包括各种正在孵化的各种创新项目。在这里，既可以通过数据指导创新业务从0到1，起于垒土；也可以通过分析发现突破的方向，赋能成熟产品持续增长。我们的职责，就是从每天产生的PB级数据中，找到最合适的指标和维度，并从最真实的业务现象中，找到可以优化的洞见，并将我们的发现落地成增长。选择Data-数据分析团队，就是选择了和最优秀的人，做最有挑战的事，成为最不可被替代的数据分析师。 1、负责电商业务的数据分析工作； 2、分析各项影响产品提升与增长的因素、各项业务细节，结合业务方向，给出可落地的整体的产品优化方案； 3、与产品/运营/研发等配合，推进优化方案落地执行，带来业务的实际提升增长； 4、负责业务上各类A/B实验设计与分析，产品优化效果评估，市场活动分析评估，核心指标异动分析，客户端版本效果评估等工作； 5、负责业务上特化模型的建设工作。
职位要求
1、        本科及以上学历，数学/统计学/计算机等相关专业优先； 2、对互联网行业充满兴趣，希望长期在互联网行业发展； 3、有极强的学习能力和好奇心； 4、能快速理解业务，发掘业务细节和数据之间的联系。


* 如何定义 活动 session (chatgpt) : 1. 从时间角度：用户产生一系列动作（登录、点击按钮、观看视频等），若不活跃（什么动作都不做）连续达到一定时长（如半小时），则记录为新 session。2. 从页面角度：用户浏览一系列页面来定义一个 session，如果用户长时间不活跃或者关闭了页面，则可考虑为新 session。3. 从事件角度，如用户完成并了登录、注册、浏览商品、购买整个系列动作，则可算做一个 session。
  如何定义 交互 interaction: 点击链接、提交表单、观看视频等任何有意义的动作，取决于具体的场景。

请问楼主几年经验啊？