从FB宕机聊聊FB的infra设计问题

Background: fb今早从西部时间8点45左右开始全线宕机（包括fb, ins, whatsapp etc.），到目前2个多小时还没有恢复

https://www.theverge.com/platfor...nger-whatsapp-error

个人猜想：这么长时间的宕机几乎可以排除是binary的问题，不然直接rollback就好了。大概率是network/hardware的问题，但是令人费解的是所有的data center应该都有backup，为什么backup没有起作用。如果是DNS的问题，这不应该是ISP提供的么，为什么fb要修这么久？求地里infra大神讲解一下

网上说是facebook的一个变更把BGP配置给改掉了，导致整个facebook自治域断连。还因此丧失了远程修改BGP配置的能力，需要去机房人工操作。

也很有可能不是技术问题啊
是政治问题啊哥

yy17162697 发表于 2021-10-04 11:29:58
网上说是facebook的一个变更把BGP配置给改掉了，导致整个facebook自治域断连。还因此丧失了远程修改BGP配置的能力，需要去机房人工操作。

听起来很像我司最近出的一个incident，不过fb的影响要大多了

去看fb的engineering blog 写的很清楚