ml infra究竟是做些什么的？

请广大ml infra和mle或者mlops指点一下。我现在顶着mle的title，都在train些过时的模型。

在一家专门做ml ops的小公司实习过，公司的业务就主要分三块，把客户（mle）的model和相关依赖用docker打包，用k8s部署并提供访问，用grafana等工具做一些监控

感觉有以下几个特点
1. 很像devops，几乎不需要会ai/ml的算法
2. 和几家竞品公司做的东西很类似，经常互相抄feature，也没感觉哪家掌握了什么核心技术壁垒，不会发生ai公司训练出一个牛b模型一夜爆红的情况
3. Customer Driven Development，大客户想要什么feature，我们就优先做什么feature

gregregre 发表于 2023-7-23 13:25
为什么inference会有很大的challenge呢，整个模型就是一个stateless的binary，给他数据他就吐出一个答案 ...

无限加GPU肯定没问题，不过资源是有限的

1. 如果你的model大到load不进单个host的memory怎么办

2. 如果要切割model，怎么做model refresh

3. 怎么做smart model loading/unloading

4. 怎么reduce memory footprint by less gpu

5. 一个model需要多少个workers，batch size要多少，怎么做smart batching

日经问题了
顶楼回复讲了ml infra的各个子方向
https://www.1point3acres.com/bbs/thread-853582-1-1.html

每个公司的要求可能不太一样，一般来说ML infra的主要scope就是ML pipelines。包括data-preprocessing, feature extraction/transformation, training, inference.

有专门负责开发这个platform的，比如G的tensorflow X，Amazon的Sagemaker， Meta的Fluent2

也有用这些platform帮自己team deploy models的。也有只负责其中某个component的

数据量很大的情况下，基本上里面每个component都是一个distributed system，特别是inference那一块，有low latency的情况下，deploy 大模型是很有挑战性的

匿名用户 发表于 2023-7-23 11:45
在一家专门做ml ops的小公司实习过，公司的业务就主要分三块，把客户（mle）的model和相关依赖用docker打包 ...

你的职责是手动去做这些mlops？

donotgetclose 发表于 2023-7-23 17:50
每个公司的要求可能不太一样，一般来说ML infra的主要scope就是ML pipelines。包括data-preprocessing, fea ...

为什么inference会有很大的challenge呢，整个模型就是一个stateless的binary，给他数据他就吐出一个答案，感觉scalability只在于横向堆gpu？如果要访问feature store拿数据的话也是多一点business logic

donotgetclose 发表于 2023-7-23 18:51
无限加GPU肯定没问题，不过资源是有限的

1. 如果你的model大到load不进单个host的memory怎么办

了解，看起来真正要scale up大模型的部署还是有很多东西可以做，也需要有人维护这些系统。

gregregre 发表于 2023-7-23 11:19
了解，看起来真正要scale up大模型的部署还是有很多东西可以做，也需要有人维护这些系统。

话虽这么说，大部分人在做ops，oncall重没有visibility，不是好活