Google七年工作总结

allenliu 发表于 2024-9-22 16:30
不是什么spanner独有的东西。

如果我们把queue想象成database table row，scanner负责从row里读出push ...

spanner queue 也做不到exactly once, 如果message 没有 ack 还是会redliever

匿名用户 发表于 2024-09-23 08:41:28
spanner queue 也做不到exactly once, 如果message 没有 ack 还是会redliever

所以才说exactly once semantic～

可以在ack message的同时做一些exactly once op本身就是一件非常方便的事儿了，不然就还是得利用strong consistency db先deduplicate

allenliu 发表于 2024-9-23 08:45
所以才说exactly once semantic～

可以在ack message的同时做一些exactly once op本身就是一件非常方便的 ...

嗯 你的意思是把一些东西包在ack message的txn 吧，其实你没有spanner queue 直接做也不是很复杂。

匿名用户 发表于 2024-9-23 19:27
嗯 你的意思是把一些东西包在ack message的txn 吧，其实你没有spanner queue 直接做也不是很复杂。

确实不复杂！但是就难免要借助queue以外的一个真正的strong consistency store，而且这个consistency store往往要为了这项功能而在schema上有很多额外变动，比如用于deduplicate的table。

从一个侧面讲，flink就通过提供了自己的state store来方便实现exactly once，就说明对于使用者来说，简单方便的exactly once是个很有用的需求，而大家自己实现一来麻烦二来容易错。

逆向思维，既然exactly once不得不用strong consistency store，如果这个store直接提供了queue的功能，就减少了一个需要maintain的queue system（比如kafka，sqs，pubsub）。

我狭隘的认为作为一种工具，当然是使用起来越简单越好。

工作七年能这么强，感觉自己工作了快三年还是啥都不懂。。。

匿名用户 发表于 2024-09-22 13:27:22
太强了 感觉俺在亚麻啥也没有学到

没用的，Google里大部分组也是啥也没学到。

我看完后深有体会，好像就在说我们org，再一看名字果然是同一个org。
这个org够不Googley了，已然是个sinking ship。

你的项目是自己找来的吗？

Great sharing!

匿名用户 发表于 2024-9-24 18:23
我看完后深有体会，好像就在说我们org，再一看名字果然是同一个org。
这个org够不Googley了，已然是个sinki ...

这个org是相对比较麻的org了，leadership里面麻量偏高，甚至很多人以麻的那套恶习为荣