AWS Aurora组工作情况介绍

wythhh 发表于 2021-5-20 13:20
我对control和data plane这块儿不是很熟哈，我拿OLAP的presto举个例子，你说的control plane是不是就像pr ...

我感觉managing Presto worker nodes和楼主正文中所说自己做的屎活(monitor）非常类似。
parsing statements, planning queries感觉也是要和customer的花式骚操作打交道很多的功能。
我卑微地表示谨慎不看好这块功能的好活量，不过还是请懂db的同学多讲讲。

wythhh 发表于 2021-5-20 13:20
我对control和data plane这块儿不是很熟哈，我拿OLAP的presto举个例子，你说的control plane是不是就像pr ...

这里说的control plane可能是指数据库configuration与monitoring相关的一些基础设施以及ops工作。Configuration方面比如说一个instance分配多少资源，各种feature的配置以及相关管理工具，热发布新的release（新版本代码），负载均衡与重定向的规则配置，等等。Monitoring方面就是在系统中添加一些代码收集各种metrics，然后通过rpc service或者http service的方式将这些metrics提供给各种dashboard，从而显示系统当前的CPU/memory用量，QPS，各种性能指标，等等。

coordinator和worker一般是分布式框架这一组件内部的概念。db服务器收到一个query request之后，会在coordinator上面进行query planning，分解出一个个单机执行单元（fragments），然后将fragments发送到worker上执行。分布式框架一般还负责资源调度（比如CPU/memory使用量，一个fragment分配多少个worker，等等）和worker之间的数据传输（shuffle，也是一个复杂的有各种特性的模块）。

而db系统的核心组件除了分布式框架之外，还有analyzer/optimizer/kernel/storage。
(1) analyzer就是parser + resolver，将SQL query解析为表示查询计划的数据结构。
(2) optimizer对于查询计划进行各种分析和改写，传统上是用于优化执行效率的组件。但现代大数据系统里面optimizer会承载非常多的功能用于粘合整个生态（比如各种analytic storage）。
(3) kernel就是各种operator的实现，常见的有scan/project/aggregate/join。这里面也涉及一些复杂的子模块，比如类型系统与表达式系统，还有vectorization/code compilation等性能相关的深度技术。
(4) storage就是底层存储。现代分布式系统一般是compute与storage解耦（也就是(1)~(3)与(4)，其实(1)/(2)/(3)之间也有解耦的趋势），所以一个db engine/query engine可以有多个不同的storage，有些是transactional storage，有些是analytical storage。

wythhh 发表于 2021-5-20 13:20
我对control和data plane这块儿不是很熟哈，我拿OLAP的presto举个例子，你说的control plane是不是就像pr ...

我在亚麻DB相关的组待过，你说的这些都是和query engine相关的内容，全部都属于data plane。control plane做的是用RPC framework搭各种service包括webservice, capacity service，resource service，billing service等等，直接处理用户request以及调度和监控用到的各种aws服务资源，真和engine相关的部分最多就是把engine的一部分切割出来要么做成某个单独的前置服务，或者直接拿出一部分当成library来用在webservice里面预处理或者validate一些东西，并不能接触到多少DB的核心东西或者参与DB内部的feature开发。所以建议对DB有兴趣想深入学习DB internal的同学真去亚麻的话还是去data plane。不过data plane也有很多脏活累活，很多组外面看着光鲜代码质量不敢恭维，屎山是越堆越多，因为大家都只管deliver，谁管后面洪水滔天，导致ops越来越重，所以我溜了。

匿名者 发表于 2021-5-20 23:13
我在亚麻DB相关的组待过，你说的这些都是和query engine相关的内容，全部都属于data plane。control plan ...

多谢，加米了!能说下不推荐的aws db组吗？可以用拼音或者火星文啥的来个组名加密

wythhh 发表于 2021-05-19 22:20:11
我对control和data plane这块儿不是很熟哈，我拿OLAP的presto举个例子，你说的control plane是不是就像presto里面的coordinator， which is r

CP是指你要新建一个Aurora db，它帮你去起EC2，如果你的host没反应，它帮你去其一台新的，跟engine基本无关。但是也有一些有趣的难题，毕竟一个fleet有这么多台instance，作为管理的组件也需要分布式。

Raymond_Lingx 发表于 2021-5-20 10:13
那一般DB org下面哪些组可以值得去呢？

platform (非test)，commercial engine。这是很多RDS下面升到L6后换组的去向

另外oncall少。

匿名用户 发表于 2021-05-20 08:13:02
我在亚麻DB相关的组待过，你说的这些都是和query engine相关的内容，全部都属于data plane。control plane做的是用RPC framework搭各种service包括web

谢谢提供的信息，那按照这样来说，您觉得在cp组对career growth有好处吗？本人还是想走fullstack 方向

Raymond_Lingx 发表于 2021-5-21 01:26
谢谢提供的信息，那按照这样来说，您觉得在cp组对career growth有好处吗？本人还是想走fullstack 方向

想走fullstack路线还是直接做fullstack相关的职位吧，CP的话和fullstack关联不是很大

匿名者 发表于 2021-5-21 00:53
platform (非test)，commercial engine。这是很多RDS下面升到L6后换组的去向

另外oncall少。

菜鸡再追问一下，platform和commercial engine都是啥？query engine算commercial engine吗？多谢

所以lz 是在 哪个office？Seattle？还是NYC？