Anth 挂经

doc review inference system

cache hit rate？
batch strategy?
load balancer before sending to gpu?

follow up

8 gpu in a pool
large mode

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

el的qps 一样，优先dispatch large model（因为large model更快凑成一个batch
这里讲的可能不太清楚吧

这里的cache指的是哪部分的cache呢？是指整个inference request <> reponse cache? 还是GPU里kv cache?

匿名用户 发表于 2026-8-27 08:19
跟hacktohire上差不多 跟high level简洁一些

感觉hack2hire上的high level design已经很不错了，没想到真正面试中还需要提出improvement

匿名用户 发表于 2026-8-26 14:26
Thanks for sharing. How long did it take for you to receive a pass / fail response?

Fyi, for me;

大概四五天得知了结果

Thanks for sharing. How long did it take for you to receive a pass / fail response?

Fyi, for me;
- OA: Took 1 week.
- HM round: Took 2 days.
- Phone-screen: Pending (been 3 days).

我也是这题挂的，所以这题面试官想要的是什么解法？

匿名用户 发表于 2026-8-26 14:33
我也是这题挂的，所以这题面试官想要的是什么解法？

我也不清楚 面完很迷茫

请问lz，doc里给的原有的design是怎么样的？

这是什么轮次? pre-screen? phone-screen? onsite?

匿名用户 发表于 2026-8-26 16:12
请问lz，doc里给的原有的design是怎么样的？

跟hacktohire上差不多 跟high level简洁一些

匿名用户 发表于 2026-8-26 17:07
这是什么轮次? pre-screen? phone-screen? onsite?

就是system design