📣 独立日限时特惠: VIP通行证立减$68
楼主: mtvskywalker
跳转到指定楼层
上一主题 下一主题
收起左侧

脸书系统设计集合贴

   
地里匿名用户
🔗
匿名用户-QW76P  2021-11-15 11:27:49 来自APP
感谢分享!
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-WC2Y2  2022-1-16 15:35:05
thank you so much
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-G05XN  2022-3-30 02:50:35
本楼:
赞!!!!!!
回复

使用道具 举报

🔗
VEsslZ 2022-4-26 04:40:55 | 只看该作者
全局:
mchzh 发表于 2021-2-20 23:06
fast是用stream方式处理,slow是不是batch的办法?多谢

我看到有视频介绍说是fast 通过是一个min-counter 的data structure,然后通过streamming data 一直更新这个data-structure,然后计算,缺点是会有不精准的可能性,slow就是类似map reduce job,做log analysis 算出长时间段的统计(类似一小时或者1天的统计),无论是fast 还是slow,都是要在适当的时机做batch来减少计算量的(比如直接写一个 key = 10 比 sum up 10个key=1 更高效)
回复

使用道具 举报

🔗
mchzh 2022-4-26 05:35:39 | 只看该作者
全局:
VEsslZ 发表于 2022-4-25 13:40
我看到有视频介绍说是fast 通过是一个min-counter 的data structure,然后通过streamming data 一直更新 ...

你有视频的名字吗?min-counter是在streamming data之前?
回复

使用道具 举报

🔗
VEsslZ 2022-4-26 05:42:11 | 只看该作者
全局:
mchzh 发表于 2022-4-25 14:35
你有视频的名字吗?min-counter是在streamming data之前?

就是主楼里k-top的视频,min-counter 是写某个key的counter value,是streaming data的最后一步,写完min-counter 再persist 到 database里去,或者弄点别的persistence storage
回复

使用道具 举报

🔗
Lzc199639 2022-4-28 11:45:06 | 只看该作者
全局:
干货马一个 祝大家身体健康
回复

使用道具 举报

🔗
mchzh 2022-5-4 02:32:37 | 只看该作者
全局:
VEsslZ 发表于 2022-4-25 14:42
就是主楼里k-top的视频,min-counter 是写某个key的counter value,是streaming data的最后一步,写完min ...

就是粗糙的说的话一个机器不停的接收进来的数据,每个数据都要用min-counter的几个hash处理过后更新什么key-val的值,最后再把结果之类的记入storage?
回复

使用道具 举报

🔗
nsbdsxh 2022-8-14 05:44:32 | 只看该作者
全局:
billyRandom 发表于 2021-3-6 13:36
有什么Aggregation system例子吗?

aggregation system是算数的,比如youtube video total view count, view count in last minute/hour/day还有考最多的top k,实际上top k是先算count然后排序得出的,search是top k的应用
回复

使用道具 举报

🔗
nsbdsxh 2022-8-14 05:53:44 | 只看该作者
全局:
geyu625 发表于 2021-2-27 11:43
LZ 关于Live commenting system

网上的很多版本https://www.facebook.com/notes/10158791486967200/提到 ...

你提供的解决方案scalability可能更差一些,因为其实generate feeds和view feeds中间还有一步sort/top k,每一条post都可能对应很多comment和很多friend,distinct comment-friend会产生非常多的data而且其中绝大多数可能用不到。

facebook那篇文章里面的解法是维护data-center level in-memory mapping,实时记录每个用户都看了哪些post,post有新comment的时候pull所有data center找到该发的data center然后定点发布新comment。data center的数量远远少于用户数量,而且用户看post的大量写请求被限制在一个data center内部。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表