做存储infra的想转AI Infra容易么

转角遇见猫 发表于 2023-2-27 23:00
其实有两种方式，一种是写算子kernel，对gpu而言需要对cuda非常熟悉；还有就是compiler codegen，生成比c ...

真没那么难，language specification熟悉点就是照葫芦画瓢。在这种组里写普通kernel也就是是IC4的体力活，熟悉了也就那么回事 。

主要还是招的人少，太小众了。

匿名用户 发表于 2023-02-28 21:21:16
同问。估计是通信优化，一致性之类的？

Large scale model parallel and data parallel training, 存储infra的经验不沾边

匿名用户 发表于 2023-02-28 21:48:49
真没那么难，language specification熟悉点就是照葫芦画瓢。在这种组里写普通kernel也就是是IC4的体力活，熟悉了也就那么回事 。

主要还是招的人少，太小众了。

这在ai infra中都很小众

补充内容 (2023-03-01 16:14 +08:00):
曾经也写过一些底层的operators, 真没多难。当然要实现大规模tensor运算优化这种比较难，但这种一般都实现好了

转角遇见猫 发表于 2023-02-28 15:08:01
Google的model serving大多用TFX，是brain某个组做的，这个十来个人的组是不会为产品组oncall的。不过重要的产品model serving确实会有专门的组维护，方式和普通的b

ai infra 绝大部分的活不需要熟记batch norm

有大牛谈谈featuring, training, serving这几个方向各有什么特点吗？需要什么样的技术。

简单说说我的观察，大家随意看看

1. oncall
作为服务内部客户的组（相对product组而言），oncall = incidents + inbounds(help desk)
实际上我们这里，training的oncall是最重的，为啥呢？虽然incident不多，但是training job一跑就是好几天，经常会各种原因跑挂。或者你的model好不容易train完了，发现quality不行，这锅都得oncall debug。所以大部分时间在吭哧吭哧解决客户问题

serving infra反而因为相对稳定，oncall相对轻松。如果是底层infra挂了，其实是可以自动page dependency teams, 因为半夜被page起来也是手动page core infra

2. 转组
其实除了training需要一些domain knowledge，其他的组大部分时间还是做infra，大部分组员背景是做系统，也有直接从product转过来的

3. llm
看大家搞的都如火如荼，我们也不能免俗，不过一开始就打消了自己train foundation model的念头，为啥？烧钱啊。有钱了？有钱你也搞不到A100啊。连openai都喊GPU不够用的时候，没准从黑市买反而更直接靠谱。所以说，最后大家都在给黄老板打工。

目前基本是看着huggingface leaderboard上各路神仙打架，时不时找个排名高的自己鼓捣鼓捣能serve就行了，大部分的use case都不需要GPT4这个级别model的表现。况且GPT4 latency动辄十几秒几十秒你能受的了嘛。

我想做存储infra 想问下楼主在什么公司呀？