一亩三分地论坛

 找回密码
 获取更多干货,去instant注册!

扫码关注一亩三分地公众号
查看: 516|回复: 0
收起左侧

刚刚结束的liveramp第二轮面经

[复制链接] |试试Instant~ |关注本帖
liushen 发表于 2015-4-14 06:09:56 | 显示全部楼层 |阅读模式

2015(4-6月) 码农类 硕士 全职@LiveRamp - 网上海投 - 技术电面 |Otherfresh grad应届毕业生

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?获取更多干货,去instant注册!

x
人很好的一个美国小哥。。。问的是那道unique id的问题。差点儿没有把我问死。。。。
首先说dataset比较小,HashMap存。然后问dataset比较大怎么办?我开始说分成chunks然后每一处理。面试官很不满意。我立马改口说,那mapReduce解。
面试官说这个make a lot more sense
然后问,如果mapReduce的话,performance的瓶颈在哪里?. visit 1point3acres.com for more.
我说首先startup overhead可能比较高,另外,如果data 很skewed的话,一个reduce task没有办法handle
那他问怎么办?我说,那写一个partition function处理。然后他问,这个partition function怎么写?我没有写过啊!!!(此时心中已经放弃这个公司了。。。). more info on 1point3acres.com
纠结了半天也没有写出了,然后他引导说是不是要写个combination function更好?我立马意识到找unique id嘛,在combination function里面存一个hashSet
然后把map的key value pair 预处理一下再给reduce task,如果重复出现的key就不需要给reduce了。他说那如果是combination function里面的set没有办法在内存里面
放下所有的key怎么办?然后我就说,那存到disk里面?然后在memory里面maintain一个table,这个table是key的一个range 和disk上存这个range的disk block的address的
映射关系。然后再去disk seek就可以了。。。-google 1point3acres

真是把我问死了。。。最后回答得我都希望快点儿结束面试吧。。。。您别问了。。。我真的不知道啊。。。。我就是一个new grads啊,hadoop就用过一些皮毛啊。。 鏉ユ簮涓浜.涓夊垎鍦拌鍧.
partition function 和 combination function真的都没有写过啊,只是知道概念啊。。。。


这个公司真的是。。。真心无语。。。。move on吧。。。

评分

1

查看全部评分

本版积分规则

请点这里访问我们的新网站:一亩三分地Instant.

Instant搜索更强大,不扣积分,内容组织的更好更整洁!目前仍在beta版本,努力完善中!反馈请点这里

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明 ( 沪ICP备11015994号 )

custom counter

GMT+8, 2016-12-11 10:48

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表