FB昂赛，跪经

Soomeone 发表于 2018-6-14 12:02
10+.....zishuzishu

这样……怪不得对系统要求这么高呀……

Soomeone 发表于 2018-6-15 00:27
恩，我答的就是consistent hashing，但不知道是不是面试官所期望的

我觉得降低traffic有两个层面：
1. 同一个link同一时间只有一个爬虫去爬；
2. 同一个link应该间隔一段时间再去爬，因为人家可能没有更新

good luck to you in the future