当说到ml platform的时候，你到底在说什么？

你这个更像dev ops，不是ml infra。真正的ml infra应该干的是更底层一层的事情，比如computation engine，类似与uber的Michelangelo，airbnb的bighead

xsh6528 发表于 2021-5-31 16:43
对，我是做ML infra。

跟其他公司情况不一样，我们有私有云和定制硬件。所以用不了aws，我不了解aws对ML ...

请问下你的背景是mle出身，还是sde出身呀

我现在在一家小公司做ml infra，主要工作内容是:
- 把data scientist写好的notebook写成flow （airflow，luigi这种）
- 写hyperparameter tuning platform
- streamline各种流程
- 配置运行flow 的环境
- 写各种reusable 的lib
- model lifecycle management
- 做dashboard监测flow和model in production

没事干的有时候也会做调参侠。和data scientist紧密合作，和他们最大的不同在于：
- ds关注一个模型，做各种研究，前期了解需求等等，做feature engineering
- ml platform可能更像一个辅助，不关注模型本身，关注可以跑n个模型，如何更高效，更稳定
- data scientist是我写的flow的end user
- ds不负责production，但是我们公司做的production不太严谨，我就不多说了

目前小公司只有我一个人在做，很多时候非常迷茫，不知道做的对不对；过一段时间会去新公司继续做ml platform，还不知道稍大的公司是怎么做的。

个人对这个方向还是挺感兴趣的，也想听听大家的看法。最想了解的希望大佬分享下职业发展路径，如何提高自己，在这条路上走的更稳，本身不是sde出身，需要补充哪些知识。

xsh6528 发表于 2021-5-31 16:43
对，我是做ML infra。

跟其他公司情况不一样，我们有私有云和定制硬件。所以用不了aws，我不了解aws对ML ...

还想问一下你们公司招人的title是什么呀？还是sde进去然后再分组？前段时间跳槽找工作感觉sde-ml infra的坑位非常少

换壳ETL Pipeline。。

求问隔壁mle职业发展帖子的链接。谢谢啦。

我是ML platform的PM， 不是engineer ：）我从PM的角度分享一下我的自己的认识，大家多多交流。

先看e2e ML lifecycle在讲什么：
Data ETL -> Feature engineering (包括 training dataset generation) -> Model prototyping -> Model training and eval (包括hyperparam searching之类的)-> Model deployment -> Serving (包括online和offline) -> Prediction monitoring -> Model retrain
不同的步骤，有不同的user persona：比如ETL一般是Data engineer，model prototyping和training是Data scientist，deployment和serving基本上是MLE

ML platform做的事情就是streamline和standardize这个流程，把底层的逻辑抽象出来，给不同的user persona提供相应的工具 (UI, API, CLI ...)。如果没有ML platform，每个team都自己去写自己的pipeline和工具，没有统一流程，效率低下，重复劳动，不可协作，更无法scale up。

The ultimate goal of a ML platform is to improve ML development efficiency and to ensure high ML quality。

举个关于dev efficiency的例子，在training and eval这一步，现在很多platform都提供AutoTune这个工具：user定义一个search space之后，ML platform会自动的去找出最佳的hyper parameters，而不需要user手动的去调试。这就是ML platform的功能之一。

再说一下high ML quality是在讲什么。我们公司所有的serving全部是通过我们这个ML platfrom完成的。第一，这样保证了consistency，避免各个team去写自己的serving stack而引起的performance上的差异。第二，我们把所有的ML model都进行了严格的分级定义：business impact, datasets quality, model freshness, retraining frequency等等。然后对不同的tier的model，只要你能达到我们tiering requiement，我们就能保证meet SLA (prediction performance, serving latency等等）。这样，就能保证high ML quality。

最后，分享一个我自己之前的一个slide，讲的是ML workflow的high level的pain points。不全面，但是还是有一些value :)

我是做inference这边的infra，除了之前提到的一些area，我们还会涉及到针对超大型model，无法在一个机器里load的distributed inference，model file的distribution，model lifecycle management，快速进行model testing的platform和tooling，resource usage management和demand control，以及general的realtime high throughput distributed service相关的优化和开发

wombatkiki 发表于 2021-5-31 21:26
你这个更像dev ops，不是ml infra。真正的ml infra应该干的是更底层一层的事情，比如computation engine， ...

你说的那些事少数喜欢自己搞 一套 infra 的公司会做。 很多公司的所谓 Infra 组，如果不自己做轮子然后给customer层提供 API， 那么基本上就是做 devop+tools 搭 infra, 基本没啥 business impact, 然后让 customer 比如 DS, RS 做真正 machine learning 的东西。 基本就是 ML Ops 所以就很没意思。

还有想跟大家讨论一下 ML Platform 和 MLE 的差别是啥呀？

denmark8th 发表于 2021-6-1 02:14
我是ML platform的PM， 不是engineer ：）我从PM的角度分享一下我的自己的认识，大家多多交流。

先看e2e ...

哈哈，AutoTune是我搞的