面试assignment：从txt文件里读取2百万行double数字。

求助一道面试题的解法。一家小公司，经历了OA， HR面，技术电面，最后还有个assignment，做完发过去对方表示要求改进，也是醉了。。。


题目要求大概是从一个TXT文件里读取2 million个double数字，然后用scatter plot显示出来，用Java。现在难点就在怎么高效读取这2 million个数字。
TXT文件中每个数字一行（最左边是index，可以理解成X coordinate， 右边的巨长的数字就是对应的y coordinate了）， 从左往右大概长这样：
1        -54.72667778993478
2        -0.1853811220527842
3        -21.05360038908366
4        27.73363348487282
5        -23.62219135594701
6        -56.01573967610933
7        34.08019445333898
8        20.06996064538601
9        60.77511214805872
10        16.44672527397671


刚开始俺很土鳖的用了BufferedReader一行一行的读取，然后还得替换其中的空格，找到y coordinate，大概这样：

private static List<List<Double>> readFile() {
        List<List<Double>> data = new ArrayList<List<Double>>();
        List<Double> dataX = new ArrayList<Double>();
        List<Double> dataY = new ArrayList<Double>();
        String delimiter = SPACE;
        try {

            long start = System.currentTimeMillis();

            File file = new File("Path to data

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

fIn.close();
            data.add(dataX);//可要可不要
            data.add(dataY);

            long end = System.currentTimeMillis();
            System.out.println();
            System.out.println("time1: " + (end - start) + " size is" + dataY.size());
        } catch (IOException exc) {
            System.out.println(exc);
            System.exit(1);
        }
        return data;
    }


我感觉这行代码比较浪费时间：
if (sb.charAt(sb.length()-1) == '\n')
但是实在不知道怎么更好的实现。求各位大神指导啊~~~


另外，对方还表示画出来的点（其实是Rectangle2D.Double），zoom in（要求实现的功能之一）之后会pixelate，这个怎么搞？

csddff 发表于 2016-3-12 16:31
这可能就是Jeff Atwood所倡议的“试镜”了，直接给你分一个他们实际工作中遇到的小问题，要你搞定，来看你 ...

太费时间，如果做完不给offer，按照现在工资标准给点儿补助还能接受lol

最后一句话没说明白。。。zoom in已经用BufferedImage.getScaledInstance实现了，但是对方表示zoom in 之后会pixelate，这个该怎么避免呢？

如果每一行的长度都是一样的，就用RandomAccessFile开多线程或者上ExecutorService去读？没实践过。。。

这可能就是Jeff Atwood所倡议的“试镜”了，直接给你分一个他们实际工作中遇到的小问题，要你搞定，来看你真实的工作能力

wcyz666 发表于 2016-3-12 16:26
如果每一行的长度都是一样的，就用RandomAccessFile开多线程或者上ExecutorService去读？没实践过。。。

每一行的长度不一样。。。
我是十分不想上多线程。。。感觉搞这么个assignment太费时间，还不一定有offer。。。

GUIXIANG 发表于 2016-3-13 02:36
太费时间，如果做完不给offer，按照现在工资标准给点儿补助还能接受lol

那就有一个工作队列吧，有一个线程只负责读，一千行就打包成一个task进队列让worker线程去处理task

关于读取单个大文件，第二个版本比第一个版本快了58%（用个for loop跑了100次算平均时间）。
貌似多线程并不会让速度更快(http://stackoverflow.com/a/18972018)。
画这个scatter plot的代码也比较费时间，就开了四个线程来分别画，速度确实快了点儿，基本降到了原来画图所用时间的四分之一:D。

像素化的问题依然不知道怎么解决，我准备告诉他们去套用别人的library吧，比如JFreeChart啥的，俺是没时间搞了。

发邮件表示这都前前后后一个月了，求本周给答复，然后被拒。
move on~~