如何应对Follow up - 如果数据量很大，内存不够怎么办？

idontknoooo 发表于 2022-5-29 11:00
我替那个层主回复一下

他的意思应该就是你“开始以为”的意思，直接切分，然后排序，然后n-pointers ...

感谢lz的回复，看到了刷题网二三的解法立刻就明白了，真的是一模一样的思路，只不过上面的层主说的没有那么详细，他应该是把第一个移动指针排序的pq给省略了，直接说了后面用来取top k的pq，所有我有点没明白了。

在海量数据的时候，我觉得要考虑不是时间复杂度而是机器放不下。可以试试搜一下count-min sketch？

Mark zszs

如果能distribute那就直接shard了，简单就按key来，再复杂就consistent hush然后dynamic balance了，如果单机能不能这样干，如果存储的key远比k大很多，能不能来个按freq排序的LRU，自动仍一部分最后的，然后吸收点新的，这个肯定有误差，但只要量够大也能用