MLSys 方向前景

lz美本master，跟着导师做了两年多的operating systems 和accelerator方向的research。现在决定phd方向，感觉这几年所有systems都或多或少跟ML搭边，目前在纠结要不要做mlsys相关的方向。目前意向的一个ap就是专门做mlsys的（感觉是在Ray上做application）可能也会涉及到data center，low latency相关的东西。想问问各位前辈对mlsys这个方向的看法

不如看看今年MLSys录取的文章和方向：https://mlsys.org/virtual/2021/calendar

我自己本身是做ML的，然后阴差阳错走到了mlsys这个方向上，just my 2 cents. 我自己的理解是你要不用system的手段来优化ml算法速度和scalability，要不用ml的方法去找system里面可以提升的东西。所以定义上比较模糊，两边的都算。
如果你做的是前者，那么其实还是找ML相关的岗，而后者还是更system的岗（你听起来像是后者）。

在学术界感觉现在还是有需求的，比如cmu这几年有不少老师都是这个方向的：ameet talwalker，virginia smith，去年招的tianqi chen，今年招的zhihao jia。工业界的话，如果你做大规模的ml算法，其实还是有不少需求的，毕竟部署和scalability现在依然是大问题。当然，这一切都还是取决于你的方向。

可以多考虑edge inference相关 edge inferenc的市场much much larger than data center training

可以详细一点科普一下什么是ML system？accelerator是硬件相关的？

bottomline123 发表于 2021-3-16 14:44
可以详细一点科普一下什么是ML system？accelerator是硬件相关的？

POI做的是distributed systems and scheduling algorithms for soft-real time Machine Learning inference and co-scheduling ML inference and online training。感觉是improve现有的ml model的inference和deployment等等在生产环境的效率。跟纯accelerator/arch的关系不是那么大

edddie 发表于 2021-03-15 23:48:49
POI做的是distributed systems and scheduling algorithms for soft-real time Machine Learning inference an

知道有一些paper是prune CNN model使得model变小。但是这都是减小model size。

还有方法可以使得inference speed提高，training speed不提高？

bottomline123 发表于 2021-03-16 00:01:09
知道有一些paper是prune CNN model使得model变小。但是这都是减小model size。

还有方法可以使得inference speed提高，training speed不提高？

追问楼主一下觉得这个方向怎么就业？还是一心想academia？

或者Google，Facebook，Nvidia的research scientist？

bottomline123 发表于 2021-3-16 15:04
追问楼主一下觉得这个方向怎么就业？还是一心想academia？

或者Google，Facebook，Nvidia的research scie ...

目前是主要考虑academia吧，industry的research其次

bottomline123 发表于 2021-3-16 15:01
知道有一些paper是prune CNN model使得model变小。但是这都是减小model size。

还有方法可以使得inferenc ...

感觉quantization更多的是ml那边的，做Ray的话更多的是distributed system和网络方向。

作为在大厂ai infra工作的人，你说的这些topic在公司确实有组做

xsh6528 发表于 2021-3-17 00:55
作为在大厂ai infra工作的人，你说的这些topic在公司确实有组做

如果是作为phd research的方向的话怎么样呢