冷门Houzz DS面经

冷门Houzz tech interview
我简直跪了，对于一个工作才一年的小白，我觉得我的能力匹配不上。求加米看面经！！！

第一题：
一道product sense case study，表示那个takehome challenges里面的product sense真的要好好刷以及AB testing你真的应该好好做

• 做AB testing要做什么： 选择我们应该的goal到底是什么，到底是increas # try product? buy product? add to cart?还是什么
• 那么我们怎么选择我们的sample：我们需要对用户进行一个限制，比如说我们只选择美国用户
• 到底AB testing你可以选什么metric？在这之前，要randomly split，一组是control一组是test
• 那么如何做randomly split，我说AA testing
• 好的，那么AA testing你觉得需要有什么metrics……我说，比如说% click， % signup， % try buy，users' title, demo还说了三四个吧
• 还有吗？ 我心想：还不够吗？？？还有啥！！！
  

从第一题过渡到第二题stats的问题：

• 那你如何选择sample size？我说，metric我们想要提升的，比如说# try product, # buy product, # add to cart。还有就是lift，另外还有阿尔法和贝塔-》 stats power
• 如何向一个不知道任何统计知识的人阐述什么事stats power……我当时真是想要现场画图呀！！！你不给我两个normal distribution，我怎么讲解呀……你一个不知道任何统计知识的人，我怎么说你肯定都不知道呀！！！
  

第三道题：
event table
datetime,   

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式

      2020-10-01


最后结果
group             ctr（unique click/unique impression）
test                xxx
control           xxx

我是用了like，但是面试官说如果很有经验的人会用string，好的，我是**……
最后一个feedback就是我对于stats的知识还是需要补充的

目测要跪，求加米

memesisi 发表于 2021-1-14 11:10
sql具体的问题是什么？
第二个 table的 test_set 是什么意思呀，  一个user可能是control 也可能是test的 ...

用男票账号回复一下……
这个的意思就是第二个table其实是一个做ab test的table，他们应该是会上线不同的feature同时做，这个user可能会在test A种是属于control set但是在testB中属于test set，所以你要对它进行区分先。
而且我自己是觉得不是then 1这样子，而是count(distinct case when xxx then userid )，因为我当时想的是，这个table既然是属于event table，那么其实user可以多次来，来一次就多一个event，那么就会有重复值了。至少我现在公司是这样的……所以不能直接用1和0来计数

RacoonYY 发表于 2021-1-15 08:32
想问一下AA testing是不是为了知道先验variance， 测试新的A、Btesting platform？ 跟ramdom split有什么关 ...

发现自己回不了……用男朋友的号回吧……
我们AB  test不是要把我们拥有的tenant给split到control和test嘛，那么你在split之后怎么可以说明这两个set就很随机呢？你就需要用AA test来证明，这两组其实是没有什么差别的这其实是在做一个sanity check的过程。不然原本test就比control表现得好，那么你就不能说明这种表现好是因为原本就表现好还是因为新的feature导致的

nicezg 发表于 2021-1-15 09:48
. ----发现自己回不了……用男朋友的号回吧……
我们AB  test不是要把我们拥有的tenant给split到control和test ...

谢谢楼主回复，我以为的AA test是在做正式AB test之前做的，这里的AA test是指sanity check哦，不过一般invariants需要按个做test么，还是只看下T和C的mean是不是差不多一样就可以

sql具体的问题是什么？
第二个 table的 test_set 是什么意思呀，  一个user可能是control 也可能是test的意思吗？json field吗
最后要overall 的ctr
类似 sum(case when test_set like'%test' then 1 else 0 )

想问一下AA testing是不是为了知道先验variance， 测试新的A、Btesting platform？ 跟ramdom split有什么关系么？

Houzz不算冷门吧？可能这些年变了

还是用男朋友的账号回一下吧……自己回不了自己的帖子……厉害了……我是没有想到竟然这样会给onsite……好吧，可以开始准备继续被虐了……

赞这句: 我怎么说你肯定都不知道呀

感谢楼主分享