大头钉design新题

来自APP · 2024-10-23 07:30:18

您需要登录才可以下载或查看附件。没有帐号？注册账号

x

面试大部分都是地里高频，只有design碰到一个之前面经没见过的题。

给一个很大的dataset，计算所有

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

；自己准备不全面，不过这种问题，除非专门做相关领域，想回答好感觉挺难。

JobOffer123 · 2024-10-26 02:31:02

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

匿名用户-N7L3C *2024-10-23 13:29:12* · 2024-10-23 13:29:12

匿名用户发表于 2024-10-22 21:40
不能直接MR 或者spark，感觉是自己design 一个类似的from scratch，考察 MR 或者 spark 的internal 的关 ...

差不多，再加上数据存储和读取，大概就是对面期望的答案。

来自APP · 2024-10-23 11:33:17

我也面的这个题，非常奇怪。这轮挂了

tcomein2009 · 2024-10-23 12:40:22

照着spark的系统结构说，面试官不行吗？

匿名用户-J5LVN *2024-10-23 12:40:39* · 2024-10-23 12:40:39

不能直接MR 或者spark，感觉是自己design 一个类似的from scratch，考察 MR 或者 spark 的internal 的关键部件？

拼搏小李 · 2024-10-23 13:45:04

怎么照着Spark 说....

难道要自己design RDD和lazy evaluation？

inheri · 2024-10-24 01:29:12

楼主面的是MLE吗？SDE看到完全不知道这是什么

匿名用户-N7L3C *2024-10-24 01:37:08* · 2024-10-24 01:37:08

inheri 发表于 2024-10-23 10:29
楼主面的是MLE吗？SDE看到完全不知道这是什么

面的sde，看到题时候跟你一样反应

匿名用户-N7L3C *2024-10-24 01:40:31* · 2024-10-24 01:40:31

拼搏小李发表于 2024-10-22 22:45
怎么照着Spark 说....

难道要自己design RDD和lazy evaluation？

没有那么细致，主要说了下大致workflow，以及fault tolerance和scalability；完全现场发挥，大概率fail

wuwendongxi · 2024-10-24 12:01:28

这个有点挑战性。
“一个很大的dataset，计算所有数据的sum”，怎么叫所有数据? 楼主能详细说说原题吗？谢谢！