准备过程 + Snap Twitter Confluent FB Airbnb senior offers

赞。。看到fb那一段 好希望楼主能出一本sysdesign总结哈哈哈

abc123abc 发表于 2021-4-24 04:04
我觉得肯定是不必要的。。但system design是个面试者drive的过程。。所以多说点肯定没坏处。。。
我也不 ...

lz的总结太棒了，比网上很多教程要深入。 我再多问几个：  serverless pool(amazon lambda/k8s...), zookeeper/etcd, btree db/lsm db  这几个的区别lz 能讲讲么？  一般好像见到分析的不多，谢谢！

补充内容 (2021-04-24 10:33 +8:00):
刚查了查， btree db/lsm db 就是 sql vs nosql， 还是lz 理解深刻。 不知道剩下两个lz 怎么比较 ？

楼主是典型的那种很match的 拿offer自然不难 我们这种转方向的真的没那么容易

bambu 发表于 2021-4-24 08:59
lz的总结太棒了，比网上很多教程要深入。 我再多问几个：  serverless pool(amazon lambda/k8s...), zook ...

serverless vs k8s/container 其实是两种deployment model，你可以在网上看看。btree vs lsm tree不完全是sql 和nosql的区别啦，其实就是两种不同的storage engine，一般是封装在你的DB底下的。btree确实是sql db的主流，lsm tree就是那些cassandra/dynamo db的storage engine，比较适合fast write/ high write throughput。zookeeper/etcd其实是serve相同的事情，主要被当做coordination service, 比如service discovery啊，config management, consensus等等。工业界还是用zookeeper比较主流的，kafka就是靠zookeeper来做service synchronization 和 naming registry，但是最近kafak出了最新版本已经可以不用zookeeper了。
希望对你有帮助，真正理解还是得自己去网上看。

abc123abc 发表于 2021-4-23 12:16
我当时和你担心过一样的问题，不过我当时很确信也许不是所有公司会给senior 但肯定有的公司会给。
我当 ...

非常感谢楼主，向你学习！

bambu 发表于 2021-4-24 08:59
lz的总结太棒了，比网上很多教程要深入。 我再多问几个：  serverless pool(amazon lambda/k8s...), zook ...

我可能表达有误，我本意就是列一些东西而已,并不是说一定要知道区别。。

access pattern不太一样，Btree读快写慢，LSM写快读慢但是读recent data可能会比较快。。看一下design data intensive app(DDIA)第三章。

serverless/stateless:
比如大多数情况app server/worker都是stateless/serverless的，这样scale比较好做。。用amazon lambda或者k8s replicaset这种管理这些workers/servers比较方便，状态存在db里，然后workers/servers本身无状态.. node/pod down了能自动给你起一个新的，你提供docker image就行了，管理很方便。。都能定义一些规则,cpu超过多少之类的就自动起个新的Node这种。。。基本你系统在aws就用lambda,在k8s就用k8s的replicasets/replicationcontrollers这种... (真想了解细节的话 google 一下 Autoscaling, ReplicaSets...面试肯定不需要).你随便说一个我觉得都无所谓 让人知道你清楚这些workers是serverless的，然后知道用什么管理就行了。

zookeeper/etcd从没有人问过我区别，ZK毕竟是JAVA稍微慢点这样，但毕竟是老产品,battle tested,面试的时候我就用过zookeeper一次。。zk说是个key value pair但实际更像是个文件系统。。我觉得你知道它能帮助你知道谁是leader,选leader,通知你一个Node挂了这样就够了。你有DDIA这本书看一下page371-373，完全够了。
我自己面试只聊过一次ZK，就是Loadblancer怎么知道后面哪个worker活着，挂了的就别发request了。这个就是membership management,怎么通知你一个Node挂了。具体讲zk有个东西叫ephemeral nodes（相当于一个directory/file，connection一断，这个Node就会被删除）,每个worker起来的时候，就要注册到zookeeper ensemble，注册就是create一个名为自己id的ephemeral node.. 比如worker1去ZK create了 /workers/1， worker 2 created /workers/2... LB watch这个/workers directory(ZK允许你watch一个direcotry). 然后worker 1断线了，/workers/1就会自动被删除（因为是ephemeral nodes），然后LB就会被通知，ok worker1断了，下次东西别发给他了。这个过程我觉得不需要知道，知道ZK能做membership management,然后一个workers挂了，ZK通知你就行了。

litJordan 发表于 2021-4-24 10:49
serverless vs k8s/container 其实是两种deployment model，你可以在网上看看。btree vs lsm tree不完全 ...

大神你在confluent上班么。。我也上周刚看他们blog说kafka不用zookeeper了。

abc123abc 发表于 2021-4-24 11:09
大神你在confluent上班么。。我也上周刚看他们blog说kafka不用zookeeper了。

不不不您才是大神哈，我也是最近在准备senior level的面试而已，看了你的帖子觉得你真厉害哈，自己system design 和多线程还需要加强啊。不够确实感谢你的帖子，深受启发！

好玩点赞 👍

abc123abc 发表于 2021-4-24 11:09
大神你在confluent上班么。。我也上周刚看他们blog说kafka不用zookeeper了。

no zookeeper kafka现在也就是打打嘴炮。。我没看到哪个大厂敢用