中级农民
- 积分
- 200
- 大米
- 颗
- 鳄梨
- 个
- 水井
- 尺
- 蓝莓
- 颗
- 萝卜
- 根
- 小米
- 粒
- 学分
- 个
- 注册时间
- 2016-1-31
- 最后登录
- 1970-1-1
|
本帖最后由 Mark6 于 2020-7-22 08:23 编辑
第二题:假设内存10G,文件100G。
1. 把100G文件切成10个10G的块,每个块导入内存去重复,确保每一块内部没有重复,得到新的10个小一点的块。
2. 两个for loop,合并块i 和块j,确保i和j中没有重复。通过load一个块到memory hashset,另一个块一行一行的IO读。
不知道还可不可以更快 |
|