📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 836| 回复: 5
跳转到指定楼层
上一主题 下一主题
收起左侧

[题目讨论] Grokking the System Interview中Consistent Hashing这一节有关于Virtual Nodes的说法

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
求各路大神帮忙解答,多谢多谢!

在Grokking the System Interview中的Consistent Hashing这一节中对于Virtual Nodes,我有一个地方不是特别理解。就是Virtual Nodes如何能够解决Node Rebuilding的问题呢?
原文中说"when a node needs to be rebuilt, instead of getting data from a fixed number of replicas, many nodes participate in the rebuild process."

可问题参与Rebuild的nodes还是fixed number呀。因为replica nodes的数量确定的,不会因为引入了Virtual Nodes就改变。Virtual Nodes可以处理Rebalancing, Heterogeneous Machines, 和Hotspots的问题,这些我都能理解。但是Node Rebuilding到底为啥会因为Virtual Nodes的引入而缓解呀?

上一篇:Grokking the System Interview里关于consistent hashing的说法
下一篇:Grokking the System Interview中有关于Quorum的说法
🔗
urdnm 2021-10-20 08:02:21 来自APP | 只看该作者
全局:
有可能virtual nodes存着partial data啊,这样只要有virtual node有部分rebuilt需要的data就可以参与rebuild
回复

使用道具 举报

🔗
 楼主| wcmr121 2021-10-20 12:48:24 | 只看该作者
全局:
urdnm 发表于 2021-10-19 17:02
有可能virtual nodes存着partial data啊,这样只要有virtual node有部分rebuilt需要的data就可以参与rebuil ...

是不是因为Grokking the System Interview里面压根没有提Data Replication在Virtual Nodes里的实现呀?

我又去看了一下Consistent Hashing那一章, 我发现Data Replication那一个section就是将的Replication Factor number N是固定的, 然后一个Node往之后的N-1个Node开始replicate data. 如果按照这种套路, 那可以参与Node Rebuilding的确实是固定的N-1个Node

如果说可以把一个Node里面的数据划分成小段,每一段replicate data到不同映射的N-1个Node. 这样参与Node Rebuilding的时候就不止N-1个Node了

是这个原理嘛?
回复

使用道具 举报

🔗
urdnm 2021-10-21 01:18:09 来自APP | 只看该作者
全局:
wcmr121 发表于 2021-10-19 21:48:24
是不是因为Grokking the System Interview里面压根没有提Data Replication在Virtual Nodes里的实现呀?

我又去看了一下Consistent H
嗯,我觉得跟data replication在virtual node里的实现有关。
回复

使用道具 举报

🔗
 楼主| wcmr121 2021-10-21 06:39:58 | 只看该作者
全局:
urdnm 发表于 2021-10-20 10:18
嗯,我觉得跟data replication在virtual node里的实现有关。

感谢感谢!   
回复

使用道具 举报

🔗
jimwallet 2021-10-21 08:36:06 | 只看该作者
全局:
一个圈上有很多vnode,一个vnode代表一个真node。node A 对应2个vnode 1,2. node B对应8个vnode。这样你把所有的shards 分发到圈上,80%的shards就会跑到node B, 20%的shards就会跑到node A。如果你删掉node A, 这样,所有的shards 都会migrate到node B上。这就涉及到一个shard migration的概念。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表