人类学全套

感谢楼主给加米了！

请问一下design里面，是可以assume每个request都是一个input吗，就是考点就是这个aggregator service要把不同的request做成小于100的batch？
还是说，每个request里面也可以有multiple inputs？

还有就是这个1~100 predictable latency我assume是每一个GPU server对吧，就是这个API可以有很高的QPS比如1Million

感谢感谢

感谢楼主，麻烦楼主能说一下culture还有什么特别的问题么，我看blind上有人说会问“你为了个人价值观做过什么艰难的决定”，不知道你有没有遇到类似的问题，已加米，感谢！

感觉就是要在latency constraint的情况下，尽量去batch requests into less than 100 size？

匿名用户 发表于 2025-2-1 15:55
感谢楼主给加米了！

请问一下design里面，是可以assume每个request都是一个input吗，就是考点就是这个ag ...

楼主，请问能不能回单一下这个问题？谢谢

匿名用户 发表于 2025-1-20 07:21
我感觉最近喜欢问你估算需要几个机器。

请问这个具体有什么例子吗？能详细讲讲吗，谢谢！

谢谢分享。
请问最后一个coding题目，里面是包含recursive call的情况吗，比如 a -> b -> a
这样a算开始了两次吗？

哪个“Coding Q”是重复的？

匿名用户 发表于 2025-02-01 15:55:34
感谢楼主给加米了！

请问一下design里面，是可以assume每个request都是一个input吗，就是考点就是这个aggregator servic

应该是这个意思

只是到底 requirement 是啥？是不是高 TPS 的时候或者 list 超大的情况下如何最快的完成每次 request 处理？
比如 一个 1M element 的 list 输入 如何在 cluster size = 100 合适处理 这里面应该有 element dedupe 然后 暂存一下 batching request 然后按原顺序 aggregate？ 有batch 暂存 有retry

匿名用户 发表于 2025-09-06 19:34:05
应该是这个意思
只是到底 requirement 是啥？是不是高 TPS 的时候或者 list 超大的情况下如何最快的完成每次 request 处理？
比如

继续猜 既然提到chatgpt 那是不是list里面每一个string是一个用户请求呀？如果是的话 这样就是把所有的request buffer在一个地方 然后固定时间或者size到达一定程度 flush一下去gpu cluster