回馈地里，聊一聊在亚马逊云的oncall经历

说实话lz在的aws组oncall真的不算重，感觉老板安排的已经很好了

望舒 发表于 2021-06-03 16:59:27
不是做cloud的所以不是很懂为什么会有这么多on call issue。请问一般都是什么issue每天会发生那么多？是因为代码质量差吗 还是一般都是资源调度的问题

AWS 的文化不太一样 有点move fast的感觉 还有一个是scale确实大 很多时候dependency甚至EC2的问题你都能碰到

补充内容 (2021-06-04 09:09 +08:00):
还有就是人员流动性大 新的风口一直换 leadership每年总说不搞新的稳定最重要 我信你个鬼 半年不到各种新project 牛人必然去新风口了

匿名者 发表于 2021-6-4 01:27
为了和主贴区分开，占一层楼提醒大家选组，如果oncall是一个大的concern的话：
- 如果能看到组内的数据， ...

能解释一下什么是COE吗？多谢

mchzh 发表于 2021-6-4 11:11
能解释一下什么是COE吗？多谢

COE 就是遇到了一次大的outage，比如说数据库完全挂了，得写一份认真严肃的报告，这个报告的目的是警醒世人，不再犯同样的错误

当然大小是相对的，影响力波及范围也是相对的，每个大厂应该都有类似的，叫法不一样

这个过程formality的部分很繁琐，要求文章写的严谨没有ambuiguity，一般不会给new grad去写

mchzh 发表于 2021-06-03 20:11:01
能解释一下什么是COE吗？多谢

Causes of errors, root cause analysis, postmortem,各个公司叫法不一样，分析出是哪里出问题了，要dive deep, 5 whys, 总结出action items以避免下次不要再出同样的错误。

请问COE是啥

你觉得刷题对平时工作有帮助吗

望舒 发表于 2021-6-4 07:59
不是做cloud的所以不是很懂为什么会有这么多on call issue。请问一般都是什么issue每天会发生那么多？是因 ...

我觉得是机器太多的原因，虽然每个机器故障几率不高，但是成千上万台的，每天都有十几台当机感觉也挺正常。

望舒 发表于 2021-06-03 16:59:27
不是做cloud的所以不是很懂为什么会有这么多on call issue。请问一般都是什么issue每天会发生那么多？是因为代码质量差吗 还是一般都是资源调度的问题

根据我接触云这么多年来看，很多时候并不是云本身问题，而是客户自身问题。但是云平台其中一项重要的服务就是为客户大包大揽，所以很多时候需要云供应商去给客户做运维：客户自己把数据库数据搞丢了一个p1来了让你恢复数据，客户自己message queue堵塞了一个p1让你帮他debug，客户自己弄的airflow dag有各种各样的bug也是要你来看。当这些问题超出support的能力的时候就要escalate到swe或sre去。

我们公司现在就是aws的大客户，我们的support case主要由sre或security去提交。但是我在的项目极度依赖s3，所以也经常会跟aws support打交道。很多时候我们的case就会被技术支持给到swe，这时候oncall的就被page了。

当然也有很多时候是资源调度啥的问题，我们公司类似这方面问题是由sre分担，swe不用管这方面的oncall，但是亚麻怎么操作就不清楚了。

smartpig 发表于 2021-6-4 11:37
Causes of errors, root cause analysis, postmortem,各个公司叫法不一样，分析出是哪里出问题了，要dive  ...

涨知识了，多谢