谈谈system design的面试方法

我想要offer真的 发表于 2020-12-27 07:19
我是记得sqs可以保证exactly once好像，也是听别人说的自己不懂

嗐，exactly once是就sqs本身而言的，“我保证把这些人一个不多一个不少送到，下了车我就不负责了”，也就是说你的consumer一旦出了任何问题，数据就永远丢了，所以这个exactly once没有什么意义，考虑end to end的话这就是at most once，所以现在能用kinesis的基本就不用sqs了。kinesis基本上就是个kafka的马甲，这俩都可以反复replay，真的是非常救命，他们的 at most once 语义也没有太大问题，可以在consumer里dedup。

fatfatjoey 发表于 2020-12-27 13:20
嗐，exactly once是就sqs本身而言的，“我保证把这些人一个不多一个不少送到，下了车我就不负责了”，也 ...

那看你这么说感觉kafka还是最全能的啊。只要阐述需要mq就行是不？～

我想要offer真的 发表于 2020-12-27 14:13
那看你这么说感觉kafka还是最全能的啊。只要阐述需要mq就行是不？～

rabbitmq可能更general purpose一点，应该有它的适用场景，这个我没用过，不敢评价。一般mq需求的话，确实kafka是比较通用的选择了。

fatfatjoey 发表于 2020-12-27 14:24
rabbitmq可能更general purpose一点，应该有它的适用场景，这个我没用过，不敢评价。一般mq需求的话，确 ...

那就kafka吧哈哈哈。统一口径

感谢分享

fatfatjoey 发表于 2020-12-27 13:20
嗐，exactly once是就sqs本身而言的，“我保证把这些人一个不多一个不少送到，下了车我就不负责了”，也 ...

请教一下 sns+sqs是不是可以代替kafka 因为sns可以广播给很多sqs

desperate500 发表于 2021-1-8 11:57
请教一下 sns+sqs是不是可以代替kafka 因为sns可以广播给很多sqs

现学现卖一下， 好像确实是这么回事：https://docs.aws.amazon.com/sns/ ... -as-subscriber.html

謝謝分享 自數字數字數

请问一下LZ，news feed generation. 我看过grokking，应该是没有提到。我想请问cache的invalidateion strategy是什么。如果一个user 有个新的post，需要查找所有follow这个user的其他user的news feed，然后删除吗？query这个user的其他follower，应该是cross-partition query吧
###
Post之后好像明白了， 想confirm一下。就是在用户关系follower和followee时候，需要存储双向关系吧（denomalization？），这样如果有user新的post，直接query followee-follower的关系，去删除当前这个user所有follower的news feed？

大佬的messager 是指 slack吗   火车票是12306吗？ 谢谢