ML infra组有什么坑？

harrybob 发表于 2023-05-17 08:48:16
按你这么说modeling不也是pytorch api caller而已？LLM的inference优化非常有技术含量，你真的做得好一堆一堆公司排队求你去，绝对不是crud boy。当然楼主要去的组大

另外“真的做得好”就是偷换概念了，楼主问的肯定是性价比。真的做得好那就真的行行出状元吧，冷门方向如PL compiler也有巨佬 Chris Lattner被大公司抢着要，结果现在自己创业投身PL for LLM了🐶

我是白白小小白 发表于 2023-05-17 11:20:07
Llm的inference指的是什么啊？

补充内容 (2023-05-18 02:21 +08:00):

大厂training和inference是分开的，可以理解为一个是研发，一个是上线。

匿名用户 发表于 2023-05-17 11:54:27
你说的对啊，现在很多在产品组做modeling不都逐渐变成了LLM API caller， prompt engineer？最多做做grounding, safety之类的产品化边角料活。真正核心做L

我只是说并不只有modeling才是核心而已。你说的pathway，ray这些都是training infra。inference优化并不是只有头部公司才需要，白嫖开源模型的小公司同样需要。

坑是你以为是做infra 其实是做tooling, automation, 甚至工具人

HarryHarryHarry 发表于 2023-05-17 13:21:14
坑是你以为是做infra 其实是做tooling, automation, 甚至工具人

太深刻了，层主也是圈内人？

我是白白小小白 发表于 2023-05-17 11:20:07
Llm的inference指的是什么啊？

补充内容 (2023-05-18 02:21 +08:00):

是指你拿到一个训练好的模型snapshot，怎么最大化inference throughput。对于llm来说这里面学问很大，比如如何选择最优的模型layout，fuse参数，优化kernel，降低精度，cache kv等等。

harrybob 发表于 2023-05-17 13:30:37
是指你拿到一个训练好的模型snapshot，怎么最大化inference throughput。对于llm来说这里面学问很大，比如如何选择最优的模型layout，fuse参数，优化kernel，降低精

做这个有什么推荐的课程学吗？

挺好，impact 大

我是白白小小白 发表于 2023-05-17 13:36:11
做这个有什么推荐的课程学吗？

https://lilianweng.github.io/pos...rence-optimization/ is a good start

HarryHarryHarry 发表于 2023-05-17 13:21:14
坑是你以为是做infra 其实是做tooling, automation, 甚至工具人

this 👆

在某裁员大厂做ml infra，公司层面的priority的组，四月第二次裁员，D下面190多个人一个没中。

但是！真的很无聊很枯燥，就是各种修修补补，见缝插针。说是infra，其实是在💩山中给core ml做productionalization。