感觉做ML Platform越来越没意思了

两年前开始做ML Platform, 之后换了个公司继续做这个, 现在感觉越来越没意思了.

开始觉得挺新鲜的, 但现在回看其实跟做别的Platform没啥本质区别, 也就是多了一些特殊的device plugin还有一些奇怪的面向GPU的监控/运维技巧. Job scheduling什么的也没啥特殊的. 各种技术进步90%都来源于社区, 从框架来的进步, 比如TF, torch啥的, 就是直接拿过来升级一下. 还有从inference server, 基本就是用Triton和TF自带的serving. 我们这个角色有时候感觉就是个升级工具人 :(

有点迷茫了, 今年要想想怎么找个有意思方向转一下

LZ，我在azure 也做类似的platform，但感觉打交道最多的就是azure devops，利用中台做各做monitoring service，底层的ML lab都是open source的，自己这边只是做一层封装而已，感觉没有任何的挑战，完全就是为了把open source的东西和公司内部的组件打通，就是工具人而已，感觉不如MLE的impact大，特别哪些做ads,recommendation,search的

从婚姻是“围城”，到最后感慨人生是“围城”。不断渴望冲出“围城”，却又不得不进入另一个“围城”。

同样关注一下这个问题

ML是带来了很多新问题，但最后还是软件和系统啊，本质上是没差别。

stargate 发表于 2021-01-15 13:11:07
ML是带来了很多新问题，但最后还是软件和系统啊，本质上是没差别。

手机带来了新问题还是解决新问题？

genius1wjc 发表于 2021-01-15 13:14:24
手机带来了新问题还是解决新问题？

是带来新问题还是解决新问题？

跟你说的一样 就是devops 只是加了accelerators。 inference at edge 可能有点挑战

balalalala 发表于 2021-01-15 13:15:08
跟你说的一样 就是devops 只是加了accelerators。 inference at edge 可能有点挑战

就是real time online inference么？我们也搞啊，挑战在什么地方呢？我们就是把模型放到triton上，还可以trt优化一下，都是调调接口。

ML libraries现在确实没什么low hanging fruits，欢迎楼主来我司设计下一代TPU和MLIR compiler。

哈哈哈，螺旋式上升，哪个行业干久了都有点这样。
趁不忙提升一下自己，挺好。