数据🧱 VO，欢迎讨论，难

转发，所以匿名，希望大家可以讨论一下。

设计如下的Library：
class DataWriter {
    public DataWriter(String filePathOnDisk) {
    }

    public void push(byte[] data) {
    }
}

现在有一个单机server，你这个Lib同时被上千个Thread使用，他们不间断的call “push” method，那么这些被push的bytes，需要你的Lib以append的形式写入disk上的filePath。

你要设计并填充pseudo code，使得：
1. 每个Thread push进来的data，保证Thread-Level有序性。比如Thread_A push d1，d2，同时Thread_B push d3，d4。那么写完的file content可以是d1_d2_d3_d4或者d1_d3_d4_d2，因为d1必须早于d2，d3必须早于d4。
2. high throughput，low latency。我的理解是最好每个Thr

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

                    Files.write(filePath, pair.getValue(), StandardOpenOption.APPEND);
                } catch (InterruptedException | IOException e) {
                    e.printStackTrace();
                }
            }
        });
    }
}

想问下这个是个system design 还是coding呀 感觉是sd

大概思路就是先把数据写到buffer里， 然后在开一些线程处理buffer。
提高throughput就要减少线程切换， 可以根据几个core开几个线程， ，防数据丢失的话就先写到一个log里，

写了个c#的pseudo code，想法就是先写进一个queue，然后consumer一直poll这个queue，每两秒钟写入file，请问可行吗
class DataWriter {
    string filePath;
    Channel channel;
    public DataWriter(string filePathOnDisk) {
        this.channel = Channel.CreateUnbounded<byte[]>();
        this.filePath = filePathOnDisk;
        startExecute();
    }
   
    public async Task push(byte[] data) {
        await this.channel.Writer.WriteAsync(data);
    }
   
    private void startExecute() {
        ThreadStart execute = () -> {
            while (await this.channel.Reader.WaitToReadAsync()){
                Thread.Sleep(2000);
                try {
                    IEnumerable<byte[]> bytes = await this.channel.Reader.ReadAllAsync();
                    ThreadStart task = () -> {File.Write(filePath, bytes)};
                    new Thread(task).start();
                } catch (InterruptedException e) {
                    e.printStackTree();
                }
            }
        };
        new Thread(execute).start();
    }
}

benzbenz 发表于 2024-5-10 23:11
大概思路就是先把数据写到buffer里， 然后在开一些线程处理buffer。
提高throughput就要减少线程切换， 可 ...

要求就是最后写到文件里，跟写log有什么区别吗
最后写的那个文件也是一直打开模式append？

这个push method得是async才行，不然这个lib有啥用，lib应该需要自己起一堆in mem buffer

啊啊啊，我也被面了这道题，完全不会答，面试官好像是想让写个memory buffer，保证io efficiency，然而并不知道能怎么做。另外吐槽下，我面个backend要了解这种底层设计模式吗

wdwwqr 发表于 2024-05-27 16:40:32
啊啊啊，我也被面了这道题，完全不会答，面试官好像是想让写个memory buffer，保证io efficiency，然而并不知道能怎么做。另外吐槽下，我面个b

老哥 加微聊一聊？我面挂了这道题

匿名账號 发表于 2024-05-27 17:15:04
老哥 加微聊一聊？我面挂了这道题

不好意思，我也不知道到底要问啥，要考察啥，聊也不知道聊啥。而且我vo，两轮都是新题。这轮就算个新题吧，面经里没找到，虽然看到这个帖子，但是也不知道要问啥，我当时都没重视。

想问一下这道题是system design吗？