我先从头开始说,从申请的第一天我就被FB搞得一头雾水。本来我是投的FB DA site integrity那个组,其实我真的没想现在面FB, 我刚开始在职跳槽,想随便先找几家公司练手再去面FB, 因为FB是我list里面非常top的选择了(废话谁不是,可能除了现在在FB又想跳槽的人不是)。因为前一天收到了uber面试(HR轮就挂掉了), 让我感觉我自己好像也不是那么菜(幻觉),于是我就去瞎申了申。
到这里肯定所有人都以为我面的是site integrity, 那你们可真是太幼稚了,感觉FB的mission其实可能是“give people the power to build a 套路 that 任何人都看不懂”。
.--
没过两天我就被recruiter找了,说他们有个ads product measurement组的da不知道我有没有兴趣,我必须有啊我怎么可能没有。说到这里我问一个问题:
所以是不是我投了A但是负责B的recruiter也能看到我的info然后觉得我比较fit B, 于是拉我去面一下, which means A 根本没看上我。
闭着眼睛都知道是ab test了。我问这个product的business goal是什么,interviewer:great question! (我现在快对great question这两个字有ptsd了) business goal是看用户在哪边花钱多,suppose我们打广告的客户是个retail company like walmart. 于是我说那就是funnel analysis, 看click through rate, 看purchase rate, 再看最后的transaction amount和avg transaction amount per time.
.google и
问:那你要怎么sample,你怎么知道需要多少sample. 我觉得这道题是让我摆T test sample公式的,不是说好了不摆公式嘛。但还好我会,我就把公式需要的那几个点都说了,她也没说对也没说不对。于是继续问:如果你的test结果不显著你要怎么办。我说那就break down来看咯,by country by demographic segment by platform之类的,还有可能是sample size issue, 这里针对sample size issue这点给了我非常positive的feedback.
于是我决定按这个文章的套路说。她重复完之后我一副now i get it的表情说,如果要看这个广告是否真的对我们的客户有价值,可以看客户对brand perception转变的情况,how this advertisement makes unlikely purchaser become likely purchaser or actual purchaser, 我们可以看一些percentage of unlikely purchaser that becomes purchaser, 还可以看impression和reach, 也可以看cost per reach看这个广告是不是efficient, 然后被问这个东西你要怎么知道,我说做survey (都是这个文章里说的), 她也没说对也没说不对,我感觉她的脸色稍微和缓了一些,不知道是不是我的幻觉,只说了ok之后我们终于从这道题move on了,也不知道她是对我弃疗了还是我拐到了正题上还是她觉得时间不多了就这样吧。
之后我又接着被challenge,如果我们这个test结果不显著你要怎么和PM讲,我:???这题不是之前面过了吗。于是我就说as i said we can break down by different segments, maybe there's something we can still keep. 然后她说如果我们横看竖看左看右看这个就是不显著呢,这个test就是fail了,你要怎么说。她自己还说了一句i know this is a really tough question,那你还问我???女人何苦为难女人???我也实在想不出更好的办法,那还能怎么说咯,只能照实说,但是也不能直接说这个test就是一无是处的,我们应该go over again, 也许是某个地方的设计不合理才导致了这个结果,但其他地方也许还是可以keep的,而且还要注意translate stats language into business language, 比如你不能直接丢过去一个p value, 你要解释清楚p value到底代表了什么(我没有黑PM看不懂p value的意思我就那么一说),不同background的人看事情会有不同的角度,也许他们会find out something that DA cant see. 没有feedback.