ML infra组有什么坑？

大方向胜过小pros/cons
LLM serving未来价值很大

匿名用户 发表于 2023-05-16 23:58:40
不做modeling本质还是 CRUD boys and girls，不同的API caller而已。不过可能会积累一些独特的(LLM相关) API calling的经验，比如如何优化GPU/TPU。

补充一个，ML Infra最后可能变成 DevOps for ML，出了modeling之外的杂事你都得管，当然要是自动化做得好，那也可以像从分布式计算DevOps诞生一个k8s一样牛逼

匿名用户 发表于 2023-05-17 01:30:13
补充一个，ML Infra最后可能变成 DevOps for ML，出了modeling之外的杂事你都得管，当然要是自动化做得好，那也可以像从分布式计算DevOps诞生一个k8s一样牛逼

大厂都有自己的 k8s 组 可能性不大 但是deployment过程说不定 单独拿出来做一套generic service供之后相类似产品用

补充内容 (2023-05-17 19:29 +08:00):
楼主说下 大概什么规模的公司吧

匿名用户 发表于 2023-05-17 00:02:21
ml infra还是有蛮多有意思的技术可以学的。一般online微服务就是是MVC，rest， grpc那些。ml 和 大数据对线下数据处理，怎么存，怎么管理数据处理流程，怎么优化，好多好多有意思的问

搞得我又想去读那本书

匿名用户 发表于 2023-05-16 23:58:40
不做modeling本质还是 CRUD boys and girls，不同的API caller而已。不过可能会积累一些独特的(LLM相关) API calling的经验，比如如何优化GPU/TPU。

按你这么说modeling不也是pytorch api caller而已？LLM的inference优化非常有技术含量，你真的做得好一堆一堆公司排队求你去，绝对不是crud boy。当然楼主要去的组大概率不是做这个的。

harrybob 发表于 2023-05-17 08:48:16
按你这么说modeling不也是pytorch api caller而已？LLM的inference优化非常有技术含量，你真的做得好一堆一堆公司排队求你去，绝对不是crud boy。当然楼主要去的组大

Llm的inference指的是什么啊？

补充内容 (2023-05-18 02:21 +08:00):
只知道llm是跟chatGPT有关的。但是inference是什么意思

ryanzhang0530 发表于 2023-5-17 04:28
大厂都有自己的 k8s 组 可能性不大 但是deployment过程说不定 单独拿出来做一套generic service供之后相类 ...

大概是两千eng的公司，有专门的k8s团队

多金的大白鹅 发表于 2023-05-17 11:26:51
大概是两千eng的公司，有专门的k8s团队

至少 no con吧

harrybob 发表于 2023-05-17 08:48:16
按你这么说modeling不也是pytorch api caller而已？LLM的inference优化非常有技术含量，你真的做得好一堆一堆公司排队求你去，绝对不是crud boy。当然楼主要去的组大

你说的对啊，现在很多在产品组做modeling不都逐渐变成了LLM API caller， prompt engineer？最多做做grounding, safety之类的产品化边角料活。真正核心做LLM modeling 和 infra的，不就那几个头部的公司/组织吗。Infra Google有Pathways，OpenAI用的Ray，能有几个人做得了这些，做得了的可不就跟你说的一样排着队求着招吗。所以咱俩说的一回事🐶