ML infra组有什么坑？

lz现在是偏后端的产品工程师，日常工作主要是写写CRUD app和产品经理扯皮。最近被之前合作过的同事问要不要去ML infra组，做LLM serving相关的工作。短期（接下来半年）要帮他们实现一个新的Java微服务，之后看组里的roadmap。找lz的原因主要是lz干活比较快，其他组员没怎么写过Java，对我司主流微服务开发流程不熟需要人带。之前从来没做过ML相关的工作，所以想来地里问问各位大佬这个领域有什么坑，和普通的后端开发比起来工作内容有什么大不同。lz在现在的组干的挺开心的， 不是非得换组，但是想到能蹭LLM的热点是有点小激动。

补充内容 (2023-05-18 07:54 +08:00):

今天和TLM细聊了下，他们组主要own的是notebook infra跟labeling infra，平时也有不少k8s ops（我司有专门负责的k8s团队，但是ML infra的需求比较特别），然后需要我做的是在不同vendor API（基于langchain）上做一些抽象给客户调用（有点像API gateway）。似乎不涉及inference。

Serving听上去像是Model Inference那一块？我以前是写backend business logic的，前几年转了ML track，简直太有意思了。主要还是看你个人兴趣，inference这块的话很多涉及到multi processing的东西，还有跟CPU/GPU交互的distributed computing啥的。

匿名用户 发表于 2023-05-16 23:58:40
不做modeling本质还是 CRUD boys and girls，不同的API caller而已。不过可能会积累一些独特的(LLM相关) API calling的经验，比如如何优化GPU/TPU。

按你这么说modeling不也是pytorch api caller而已？LLM的inference优化非常有技术含量，你真的做得好一堆一堆公司排队求你去，绝对不是crud boy。当然楼主要去的组大概率不是做这个的。

坑是你以为是做infra 其实是做tooling, automation, 甚至工具人

都ML了咋还用Java? 😂

啥叫偏后端的产品工程师？你难道现在是全栈？

ssni 发表于 2023-5-16 22:28
都ML了咋还用Java? 😂

你没仔细读，楼主是帮别人搭server，写api内部call ML的结果

donotgetclose 发表于 2023-5-16 22:02
Serving听上去像是Model Inference那一块？我以前是写backend business logic的，前几年转了ML track，简直 ...

也有可能就是写对外的API呀，别人通过API来访问拿结果，本质还是CRUD

不做modeling本质还是 CRUD boys and girls，不同的API caller而已。不过可能会积累一些独特的(LLM相关) API calling的经验，比如如何优化GPU/TPU。

ml infra还是有蛮多有意思的技术可以学的。一般online微服务就是是MVC，rest， grpc那些。ml 和 大数据对线下数据处理，怎么存，怎么管理数据处理流程，怎么优化，好多好多有意思的问题，基本上ddia上的东西是真正可以用到。

可以试试model training的活

匿名用户 发表于 2023-5-16 23:48
啥叫偏后端的产品工程师？你难道现在是全栈？

对的job title是全栈，偶尔需要写presentation logic（别的公司可能称为backend for frontend），不过基本不碰js/ts