系统设计｜Kafka相关！

四次context Switch哈

每次user 转kernel 还得转回来  所以算两次

tiancaihb 发表于 2021-5-20 17:30
不知道整个业界的情况，感觉为了让这么一个很底层的系统高可用，需要有一些运营的经 ...

immutable db

写的不错！不过面试时候大部分人并不关心kafka为何比其它一些产品快，更多的是exactly once的解决

问题：
1. 组成集群以后一般瓶颈会出现在哪呢？
@tiancaihb: (10楼）hot shard，因为本来partition之间是独立的，如果平均分message，就是embarrassingly parallel。另外partition多到一定程度，维护metadata，以及网络连接数。

我的理解：
集群中有一个环节是partition的备份，一个partition会被复制成你设置的参数个 并同步给每一个分布的broker。这个环节如果我没有记错的话，走的路线跟consumer消费任务是差不多的（我忘记在哪个论坛或者教程里看到的了，具体忘记了，如果有大佬发现这个有问题请通知我）。所以代价就是集群太多了的时候，加一个减一个broker或者加一个减一个topic，都需要很大的网络花销去做备份。另外老版本kafka中 zookeeper也会成为瓶颈，但是现在应该不会了。据我所知，现在的版本中zk已经不管kafka内部逻辑了，只管配置（新版本即将删除zk依赖）。

2. 低延迟是一个硬指标吗？
latency不是主要的，最主要是要吞吐量大，另外我个人认为latency并不算kafka优势，因为生产者可以定期批量生产消息。这里涉及到一个参数，叫log.flush.interval，可以设置多久将数据刷新到磁盘或者每多少条消息刷新到磁盘。注意，只有消息被刷新到磁盘了，才能被broker发送出去。

客户端Producer 相关问题：
前言：实现一个简单的kafka客户端，需要做两步。首先，初始化一个KafkaProducer（假设叫做producer）；然后，调用producer.send()去发送消息。

1. 当初始化KafkaProducer时，除了会初始化一堆配置（比如partition的配置，监控的配置，负载均衡的配置等等），重要的是还会初始化一个叫RecordAccumulator（顾名思义）的东西，并且还会创建一个负责发送消息的deamon thread（守护线程）。由于这个负责发送的守护线程是在初始化producer时候创建的，因此我们可以认为，producer是线程安全的。
2. send的流程是：首先计算消息要到哪个partition，然后组建callback对象，随后（重要的来了）往那个RecordAccumulator上append记录。当RecordAccumulator积累到配置的数量时，由初始化producer时创建的那个负责发送消息的守护进程发送出去。
3. 发送过程是异步的，返回的都是future对象，这个future对象甚至都不需要去管。
4. Producer会把消息发送到leader broker上。所有的数据都奔着leader节点去。

结论：
producer不会拿到一条消息就去发送一条，而是会累积到一定值后由守护线程去统一发送。这也是kafka之所以能高吞吐量的底层逻辑之一。
欢迎大家继续补充producer有关内容，也请各位同学给补充的或者回答问题的大佬加大米！

那么producer是怎么保障消息传送的呢？请听下回分解。

非常好的分享，赞

谢谢分享。

从kafka.apache.org上看到的。
"Kafka is a distributed system consisting of servers and clients that communicate via a high-performance TCP network protocol. "

"Kafka uses a binary protocol over TCP."

"The client initiates a socket connection and then writes a sequence of request messages and reads back the corresponding response message. No handshake is required on connection or disconnection. TCP is happier if you maintain persistent connections used for many requests to amortize the cost of the TCP handshake, but beyond this penalty connecting is pretty cheap."

这我就不懂了，TCP是要求handshake的。
但是文中又说"No handshake is required on connection or disconnection. “

eagletang 发表于 2023-10-11 22:10:59
谢谢分享。

从kafka.apache.org上看到的。

你这个问题非常非常好。这里的handshake并不是tcp的那个三次handshake，而是应用层的一些handshake（比如https那些关于证书的交换），既然用了tcp，那tcp那三次是必然会有的。

836195369 发表于 2023-10-11 22:31:46
你这个问题非常非常好。这里的handshake并不是tcp的那个三次handshake，而是应用层的一些handshake（比如https那些关于证书的交换），既然用了tcp，那tcp那三次是必然会有

你说的对。应该指的是HTTPS的TSL handshake，而不是TCP的3 way handshake。不过他们的表述有问题。
谢谢！