造成了incident很内疚该如何调节

匿名用户 发表于 2023-08-26 13:53:46
最简单的方法例如rollback没有考虑过？
这种问题，其实更多的是看后续怎么避免这种事情再次发生，你可以从你的角度提出一些流程，metrics，review等方面的改进，让大家看到你的后续动作才是

还真不知道为什么没选择rollback。。。是不是因为已经进prod几个小时不能rollback了？当时senior是选择create revert PR 再merge来处理的。
是下游某category的alarm响了，trace到我们组才知道出事了。我们组并没有具体category数据的dashboard，只有整体的，所以刚merge之后并没发现异常。

匿名用户 发表于 2023-8-26 16:32
还真不知道为什么没选择rollback。。。是不是因为已经进prod几个小时不能rollback了？当时senior是选择cre ...

除非是 面向客户的feature，要不然我真想不到为什么不rollback，但是revert diff也是一个常见的办法。

DrinkingSprout 发表于 2023-08-26 14:23:54
有没有可能是testing的问题，上线前的integration test应该拦住低级错误吧。楼主不用觉得是自己不小心，人都会犯错，避免低级错误的办法不是人人小心而是完善的测试流程。多想想流程上怎么完

我默认test已经cover了，之后才发现那部分没人（包括我）写过unit test orz

我们公司也是一家中厂，几万的loss貌似真的不是特别大的事，印象中5万以下都是moderate，这种级别的incident估计天天都有。。不算整个公司，就是我们大组（50个人）也非常常见。。
Incident review花点功夫就行了

匿名用户 发表于 2023-8-26 15:54
我隔壁组造成了1000多万损失照样说说笑笑 放轻松

这个哪个豪厂，这么大损失居然没有被fire？

中大厂每天光空转的服务器就不止几万了

能养成细心的习惯也是挺好的 习惯就好了

匿名用户 发表于 2023-08-26 14:39:10
我默认test已经cover了，之后才发现那部分没人（包括我）写过unit test orz

你们test coverage没有工具检查？

我在朋友圈天天谈笑风生，自豪地吹嘘今天我又为公司带来了几个m的损失

新功能，记得加feature flag。出问题，直接关掉feature flag
testing组那边也应该要有各种e2e testing, regression testing 然后在上线。 dev， staging， pre-prod, a/b testing, prod。

出问题，如果没有找到准确的cause跟solution，直接代码rollback。