聊聊大数据的前生今生

问下楼主，在大厂做自研mq(kafka、pulsar)有前途么，是否以后跳槽出路少？

太强了，看不懂

好文，蹲一个

真的好文，好全面。跟着大佬学到了

非常受益！我刚入门data engineering这块，很有兴趣。但有两个问题。可以帮看看吗

1. data governance 主要做什么，这个领域做好的话，价值在哪里？
2. 很多公司做大数据，都会有自己的DC，不会用云服务。理由就是，自己有极高的定制度，和降低价格。aws 要上的话，一年百万美金+。所以问题来了，如果要去用新的open source的工具，比如flink，beam之类的。那么怎么做migration最合理，切online streaming data flow 应该是最难的吧。最佳实践是什么？
thanks

jimwallet 发表于 2023-10-14 17:44:54
非常受益！我刚入门data engineering这块，很有兴趣。但有两个问题。可以帮看看吗

1. data governance 主要做什么，这个领域做好的话，价值在哪里？

1. 管理元数据的元数据
2. 你这个问题太泛了不好回答。正常来讲migration一般都是新旧两边先一起跑 然后做一些数据的检测来判断最后入库的数据一致，再一段时间之后关掉原来的就好了。实现上基本就是一些logical replication的技术。