📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 1639| 回复: 6
跳转到指定楼层
上一主题 下一主题
收起左侧

[题目讨论] Grokking the System Interview里关于consistent hashing的说法

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
望高手帮忙解答,顺求大米看面经,多谢多谢!

Grokking the System Interview在不同的题目里,多次提到用Consistent Hashing解决hot key的问题,如:
This approach can still lead to overloaded partitions, which can be solved by using Consistent Hashing.

我的理解是,consistent hashing是为了在需要做rebalance的时尽量少地move data(大部分的partition到node的mapping保持不变),但是不能理解为何它能解决hot key,是我漏掉了什么吗?


上一篇:系统设计小白 想问一下怎么解决sql数据库写影响throughput
下一篇:Grokking the System Interview中Consistent Hashing这一节有关于Virtual Nodes的说法
推荐
wcmr121 2021-10-19 17:17:27 | 只看该作者
全局:
lllxin37 发表于 2021-10-11 14:29
hot spot是通过 virtual nodes来实现的。单纯的consistent hashing without virtual nodes 不能解决hotspot ...

对于Virtual Nodes,我有一个地方不是特别理解。就是Virtual Nodes如何能够解决Node Rebuilding的问题呢?
原文中说"when a node needs to be rebuilt, instead of getting data from a fixed number of replicas, many nodes participate in the rebuild process."

可问题参与Rebuild的nodes还是fixed number呀。因为replica nodes的数量确定的,不会因为引入了Virtual Nodes就改变。Virtual Nodes可以处理Rebalancing, Heterogeneous Machines, 和Hotspots的问题,这些我都能理解。但是Node Rebuilding到底为啥会因为Virtual Nodes的引入而缓解啊?

评分

参与人数 1大米 +1 收起 理由
casunshine + 1 赞一个!

查看全部评分

回复

使用道具 举报

全局:
你做partition的时候是希望数据能够balanced分布,如果数据过于集中在某几个key上而这些key恰好在同一个partition会造成这个partition访问过于拥挤

你用一致hash可以把这个partition fragment成更多的partition来平衡
回复

使用道具 举报

🔗
 楼主| casunshine 2021-10-12 04:19:56 | 只看该作者
全局:
“把这个partition fragment成更多的partition”,这说的是选择partition个数,要适当选大点,我感觉这和consistent hashing没关系。而且如果有一个极端hot的key(比如一个celebrity的user id,他所有的comments在一个node上就放不下了),再分多少个partition都没用。我理解要解决hot key,还是要改key,比如改用comment id,或者在user id后面加个component后再做hash。还是不理解consistent hashing怎么能解决这个问题

评分

参与人数 1大米 +1 收起 理由
czythss + 1 赞一个

查看全部评分

回复

使用道具 举报

🔗
lllxin37 2021-10-12 05:29:14 | 只看该作者
全局:
hot spot是通过 virtual nodes来实现的。单纯的consistent hashing without virtual nodes 不能解决hotspot问题。个人理解。
回复

使用道具 举报

🔗
 楼主| casunshine 2021-10-12 05:41:51 | 只看该作者
全局:
lllxin37 发表于 2021-10-11 17:29
hot spot是通过 virtual nodes来实现的。单纯的consistent hashing without virtual nodes 不能解决hotspot ...

正解,我手上的文件好像缺内容,你提到vnode我就搜到了,多谢!
回复

使用道具 举报

🔗
faithoverfear 2021-10-12 05:43:10 | 只看该作者
全局:
同楼上,grokking的consistent hashing那章有讲用virtual node平衡分布keys,还有个图,看了个大概,具体算法就有点太细节了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表