关于FB outage的一些分析

学习了，感谢楼主

4. Retry太多了DNS解析器们受不了会集体爆炸，这样所有网站的DNS解析都会收到影响。比如某个解析器在这个地区有100个task，各个task逐渐开始炸，比如50个炸了，所有剩余请求都积压到剩的50个了，这样load增加，速度就会变慢，到最后受不了了剩下的一起全炸了。(当然google的8.8.8.8只是小炸变慢了一点，但是小的DNS resolver就会炸的很严重，这也是为什么twitter上很多人说上不了网把DNS改成8.8.8.8就好了)。
6. 这样上任何网站都会变慢甚至无法连接，直到FB和DNS resolver们恢复。

第5點是lz忘寫了還是本來就沒有？
關於第4點和第6點。你上其他網站遇到什麽問題了嗎？每個地區沒有自己的throttle嗎？比如一個domain訪問太多次就自動throttle了。

所以问题的源头是configuration出错？为什么configuration会突然出错？是因为谁re-configure了一个集群，这个集群fail，然后propagate了吗？

wengjn 发表于 2021-10-4 14:51
归根到底还是fb的programmer leetcode题刷得不够啊，不然这种hard问题分分钟解决掉，嗯，对，一小时内两个h ...

你搞错了，就是因为全特么刷LeetCode去了，都不好好搞业务相关的知识，然后就悲剧了

今天沒FB好悶呀

大致看了一下应该是BGP路由被删了，而且连备选路由也都被删了，这得是权限很高的人才能更改的配置吧。跟DNS的邻居还算好解决，大不了临时写个静态路由，但跟其他AS的邻居就麻烦了。

FML 发表于 2021-10-4 17:47
有点像缓存穿透的味道，很难想象DNS设计时没有考虑到这种情况。
随便开脑洞，可以想象的解决方案：
1. 缓存 ...

每家的dns解析的设计都不一样，你很难要求每一家都能handle这么大的问题。这种情况google能handle但小运营商自己的dns就很难。

yyy77 发表于 2021-10-4 14:34
所以楼主能估计一下啥时候修好吗

已经好了吧，我能上FB了

一看就是不重视infra和security，三天两头爆雷，不是网崩就是数据泄露

chasedream888 发表于 2021-10-04 15:03:16
所以问题的源头是configuration出错？为什么configuration会突然出错？是因为谁re-configure了一个集群，这个集群fail，然后propagate了吗？

神奇的是，这东西难道不需要层层review吗