如何把Kafka引入到组里的项目里面

最近，老板让本菜🐦独立完成一个任务：有两个project A和B，要求把Kafka引入到这两个project中，这样A的数据可以发送到Kafka，然后B可以来消费。
组里的技术栈是用的Kotlin + Spring。求问，我该从哪里下手呢？应该按照什么步骤来完成这个任务呢？

提前感谢各位大佬！！！
回复加米！谢谢！

你需要先明确traffic throughput的estimation。如果不高的话(peak QPS < 50K/s) 建议用Kafka Rest Proxy。就是通过restful API收发消息。

否则的话 你要leverage Kafka pipeline into A and B。如果你们公司内部没有establish现成的kafka ecosystem。你需要自己去部署一个。直接用开源的apache Kafka就好。2.7和3.1都比较稳定 用哪个都成。

pipeline也很好搞。简单来说 就是A里创建一个producer。在B里创建一个consumer。在broker上创建一个topic。没有特别需求的话 所有configs直接用默认值也可以。然后通过topic实现消息处理。

补充内容 (2022-07-13 07:02 +08:00):
如果你的use case比较复杂。比如 不能承受duplicate data/data loss的话。你还需要figure out怎么消费数据。是Async还是Sync，是auto- commit还是你自己commit Async or commit Sync, 设置commit reset strategy等等。你可以看下confluent的doc。写的挺不错的

可以这样来:

1. 理解什么是kafka and its glossary，其实就是一个数据buffer
2. 用docker compose 构造一个quick start， 上手体验
3. 了解你是否需要自己写producer 或者用现成的插件
4. 了解你是否需要自己写consumer 或有现成的插件
5. 你还需要metrics 监控，比如了解throughput是多少，不同topcis的lag是多少，这些都是随着环境变化而变化的，然后了解kafka的其他配置
6. 考虑设置alert，或集成到你们现有的oncall系统中，比如lag到达多少，是什么原因
7. 部署在哪里？怎么部署自动化，怎么以后升级 or rollback...

当然根据需要，不是每一步都要你做

先找到A的哪些数据需要被发送给B
找到这些数据都在哪里生成
写一个接口收集这些数据
这个接口的另一端把数据发给卡夫卡
B订阅卡夫卡收集收据然后用

以上是非常粗略的，很多具体的decision需要make，比如说A和接口的通信是synchronous还是async的，是需要stream or batchxB能不能承受重复数据，等等