脸书系统设计集合贴

感谢分享！

thank you so much

赞！！！！！！

mchzh 发表于 2021-2-20 23:06
fast是用stream方式处理，slow是不是batch的办法？多谢

我看到有视频介绍说是fast 通过是一个min-counter 的data structure，然后通过streamming data 一直更新这个data-structure，然后计算，缺点是会有不精准的可能性，slow就是类似map reduce job，做log analysis 算出长时间段的统计（类似一小时或者1天的统计），无论是fast 还是slow，都是要在适当的时机做batch来减少计算量的（比如直接写一个 key = 10 比 sum up 10个key=1 更高效）

VEsslZ 发表于 2022-4-25 13:40
我看到有视频介绍说是fast 通过是一个min-counter 的data structure，然后通过streamming data 一直更新 ...

你有视频的名字吗？min-counter是在streamming data之前？

mchzh 发表于 2022-4-25 14:35
你有视频的名字吗？min-counter是在streamming data之前？

就是主楼里k-top的视频，min-counter 是写某个key的counter value，是streaming data的最后一步，写完min-counter 再persist 到 database里去，或者弄点别的persistence storage

干货马一个 祝大家身体健康

VEsslZ 发表于 2022-4-25 14:42
就是主楼里k-top的视频，min-counter 是写某个key的counter value，是streaming data的最后一步，写完min ...

就是粗糙的说的话一个机器不停的接收进来的数据，每个数据都要用min-counter的几个hash处理过后更新什么key-val的值，最后再把结果之类的记入storage？

billyRandom 发表于 2021-3-6 13:36
有什么Aggregation system例子吗？

aggregation system是算数的，比如youtube video total view count, view count in last minute/hour/day还有考最多的top k，实际上top k是先算count然后排序得出的，search是top k的应用

geyu625 发表于 2021-2-27 11:43
LZ 关于Live commenting system

网上的很多版本https://www.facebook.com/notes/10158791486967200/提到 ...

你提供的解决方案scalability可能更差一些，因为其实generate feeds和view feeds中间还有一步sort/top k，每一条post都可能对应很多comment和很多friend，distinct comment-friend会产生非常多的data而且其中绝大多数可能用不到。

facebook那篇文章里面的解法是维护data-center level in-memory mapping，实时记录每个用户都看了哪些post，post有新comment的时候pull所有data center找到该发的data center然后定点发布新comment。data center的数量远远少于用户数量，而且用户看post的大量写请求被限制在一个data center内部。