讨论一个10K机器web crawler的问题

webcrawler这个系统设计到处都有，比如这个就讲的很好https://medium.com/@morefree7/de ... rawler-f67a8ebb8336

不过具体设计到机器分配上，又是个难题。
请问如果具体到给10K 机器, 1b URL, 每个URL 100KB。 (1b * 100Kb = 一共是100TB的data). 要求不能重复爬，和尽量利用所有机器资源。

该如何分配资源呢？ 多少做worker node, 多少做DB， 多少做service, 多少做storage.
因为算的时候不知道考虑到底哪里是Bottlenect, 有点迷茫。有没有大神指导一下分配机器应该从什么角度出发。

插个眼zszszzzzd

我也想知，地里提过DHT,但不明白要用这个

waiting for the answer

1000 机器 参考 spark hadodop 用yarn