📣 VIP通行证夏日特惠 限时立减$68
123
返回列表 发新帖
楼主: 匿名
跳转到指定楼层
上一主题 下一主题
收起左侧

人类学全套

   
地里匿名用户
🔗
匿名用户-AS2ZD  2025-2-2 07:55:34
感谢楼主给加米了!

请问一下design里面,是可以assume每个request都是一个input吗,就是考点就是这个aggregator service要把不同的request做成小于100的batch?
还是说,每个request里面也可以有multiple inputs?

还有就是这个1~100 predictable latency我assume是每一个GPU server对吧,就是这个API可以有很高的QPS比如1Million

感谢感谢
回复

使用道具 举报

🔗
Fireball 2025-2-17 15:35:37 | 只看该作者
全局:
感谢楼主,麻烦楼主能说一下culture还有什么特别的问题么,我看blind上有人说会问“你为了个人价值观做过什么艰难的决定”,不知道你有没有遇到类似的问题,已加米,感谢!
回复

使用道具 举报

🔗
belljay 2025-2-23 12:31:59 | 只看该作者
全局:
感觉就是要在latency constraint的情况下,尽量去batch requests into less than 100 size?
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-NB2GJ  2025-2-26 01:50:58
匿名用户 发表于 2025-2-1 15:55
感谢楼主给加米了!

请问一下design里面,是可以assume每个request都是一个input吗,就是考点就是这个ag ...

楼主,请问能不能回单一下这个问题?谢谢
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-DIYZO  2025-3-5 00:37:17
匿名用户 发表于 2025-1-20 07:21
我感觉最近喜欢问你估算需要几个机器。

请问这个具体有什么例子吗?能详细讲讲吗,谢谢!
回复

使用道具 举报

🔗
longvision 2025-3-17 07:36:07 | 只看该作者
全局:
谢谢分享。
请问最后一个coding题目,里面是包含recursive call的情况吗,比如 a -> b -> a
这样a算开始了两次吗?
回复

使用道具 举报

🔗
zhaoxin1023 2025-6-15 11:30:36 | 只看该作者
全局:
哪个“Coding Q”是重复的?
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-HLXON  2025-9-7 10:34:05 来自APP
匿名用户 发表于 2025-02-01 15:55:34
感谢楼主给加米了!

请问一下design里面,是可以assume每个request都是一个input吗,就是考点就是这个aggregator servic
应该是这个意思

只是到底 requirement 是啥?是不是高 TPS 的时候或者 list 超大的情况下如何最快的完成每次 request 处理?
比如 一个 1M element 的 list 输入 如何在 cluster size = 100 合适处理 这里面应该有 element dedupe 然后 暂存一下 batching request 然后按原顺序 aggregate? 有batch 暂存 有retry
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-HLXON  2025-9-7 10:43:37 来自APP
匿名用户 发表于 2025-09-06 19:34:05
应该是这个意思
只是到底 requirement 是啥?是不是高 TPS 的时候或者 list 超大的情况下如何最快的完成每次 request 处理?
比如
继续猜 既然提到chatgpt 那是不是list里面每一个string是一个用户请求呀?如果是的话 这样就是把所有的request buffer在一个地方 然后固定时间或者size到达一定程度 flush一下去gpu cluster
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表