AB Testing 常用的metrics、定义、分析应对？

上了AB Testing的网课，然后看到面试问题中有类似这样的问题：
如果上线一个新产品，应该看哪些指标？
如果要检测广告的投放效果，应该看哪些指标？
... ...

请问各位哪里有相关的资料可以学习，例如各种业务常用指标的定义、常见的分析等？
看了udacity的课可能只涉及到了Click Through Rate 之类最简单的指标。

蹲一个回复

抛砖引玉一下， 欢迎分享指正

Metrics 是个很广的话题，根据岗位不同，考验的侧着也非常不同。很容易通过follow up把问题问的很深， 是很快能看出一个人有没有product sense，有没有业界经验一类问题。简单说说有哪些细分：
Metric design， 设计业务指标，设计选择正确的metrics是DS core competency。目前这些大厂，成熟的产品几乎都已经设计得差不多了，网上很多这方面的经验分享。想学习的小伙伴可以搜 “metrics + domain“， 比如说衡量社交网络的 ”metrics + social media“， 衡量ads 转化率的等等。
Metrics evaluation， 衡量指标的有效性。一个产品，或者一个feature， 会有一个（不超过5个）北极星指标。 直接对标这个产品的目的，比如说一个Google 的 ads 转化率， FB的MAU 等等。然后有一些constraint metrics，比如说为了提高销量，可以降低单价，但是价格又不能太低。这时候利润率就相当于一个constraints指标。可能有小伙伴会问为什么把销量作为North star metrics 而不是利润率maxiamize。这个就是product strategy，互联网公司大部分是做增长，而不是maximize盈利，讲增长的故事花街给的估值会更高。

如果是面试junior 岗位，掌握A/B testing 的概念，比如 t.test，sample的选取，多长时间等等的
如果是senior 的岗位，在此基础上再多一些product sense。 这方面可以follow 一些linkedin上的DS（比如Gordon Silvera），也可以关注一些PM的面经，PM也讲究data driven mindset。我用过这个， 但是比较贵 https://product-data-science.dat ... roduct-data-science

楼上的"砖“虽然道理都对，但是似乎没有直接解答楼主的问题。我很明白的楼主的困惑， 我自己也有类似的疑问。
很多题目都会提AB test，但我觉得无法解答楼主的问题。私以为AB test适合衡量对已有产品（你可以理解成control）做的改进是否有效。

但是当题目是新功能的时候？举个例子，FB出了个网页游戏功能，如何衡量其成功？很多人第一时间可能会想到所谓northstar，比如加了游戏功能似乎能提高月活，能提高用户粘性等等，然后可以做一下AB test。我觉得不好，第一是这些指标或许对一个新的小功能不敏感，第二就是这些是衡量FB整个平台的，并不是对这个新功能的直接的讨论。

另一个想法，那就直接衡量，比如网页游戏带来的营收，以及这个功能的日活等等。但是随之而来的问题就是怎么做test？但是因为没有control也做不了test，那就变成直接考量新功能营收日活本身，可是随之而来的问题变成了，你如何去量化来eval success，比如网页游戏给你带来了月营收1M，你如何判断是成功还是失败。于是下面你可能会扯，用类似产品数据啊，业界标杆啊啥的，但是我觉得有可能已经跑偏。

至于楼主问投放广告的效果，这是产品题的又一难点：feedback无法直接获得要如何做AB test。比如brand marketing，把品牌植入顾客映像，但是因为目标不是直接的转化率，所以这类广告的效果要如何衡量。

我不知道如何解答楼主的两个问题，因为我自己也经常思考这俩题，这里只是把楼主问题展开，便于大家理解和讨论，坐等回答。