问个data engineer的编程

来自一个data engineer camp的笔试。也不知道应该分哪一类。我本来是data science方向，对代码效率和复杂度考虑经常不充分。

题目要求：输入文件每行有3个数据：姓名，日期，交易金额
例如：
Adam|11142017|80
Bob|11132017|40
Adam|11142017|60
Adam|11122017|30

要求输出：对每个 姓名+日期 的组合 ，输出交易次数，金额中位数，金额总和
这些组合按姓名字母序排序，如果姓名相同日期早的排前面
样例输出应该是
Adam|11122017|1|30|30
Adam|11142017|2|70|140
Bob|11132017|1|40|40

题目说，要让写的code能在非常大量的数据上跑 (Write scalable  code)
我没太明白这题想考什么。。。
我的想法是建一个姓名+日期的hashtable，里面存对应交易的sorted array，次数和总金额。
每读一行进来update的时候，把新的金额插入sorted array，同时更新次数和总金额
同时外部还有一个姓名+日期组合的sorted array。每次有新组合出现就插入更新。


怀疑这不是最效率的办法。。。大家看看我是不是考虑掉了什么
谢谢讨论


补充内容 (2017-11-19 13:01):
后面有朋友问到，我忘了说，题目特地说了不是考多线程技术的

这个感觉好难的样子。。。题目有没有说是不是在cluster上运行啊？有没有可能是想考hive？

precious1016 发表于 2017-11-19 05:43
这个感觉好难的样子。。。题目有没有说是不是在cluster上运行啊？有没有可能是想考hive？

o我忘了说题目特地说了不是考多线程技术的
要求里特别说了，可以假设测评的时候，在单线程本地机器运行

用MapReduce解，挺简单的，其实和word count差不多

对。MapReduce 解。

gcf108 发表于 2017-11-21 23:03
用MapReduce解，挺简单的，其实和word count差不多

谢谢！完全没有想到mapreduce。学习了。
如果改一改，输出是滚动的应该怎么做？
即：每一行输出 该行对应的姓名+日期 到该行为止累计的count median sum
例如：
Adam|11142017|80
Bob|11132017|40
Adam|11142017|60
Adam|11122017|30
输出：
例如：
Adam|11142017|1|80|80
Bob|11132017|1|40|40
Adam|11142017|2|70|140
Adam|11122017|1|30|30

每读一行就要reduce一次吗？还是说变成了一个完全不同的问题？

所以请问是要自己写一个map reduce 的框架，然后def mapper, def reducer吗？
还是说是可以调用 Mrjob