ML platform 和 ML model 如何选？

这就是system和算法方向的区别吧。高校里做system的少，因为engineering的活太多，但能做出来的话，impact更高。system对编程能力和各种architecture的知识要求很高。

还是选platform更好，做model的我知道的，基本最后都成了熟练的调参侠，然而现在的趋势是ML model基本都能够靠某些牛逼的演化算法自动生成(别问我怎么知道的)，所以不出意外的话，以后搞model的有可能会面临失业风险。

做了两年多ml infra 感觉这条路越走越窄 一方面小公司根本不需要专门的infra组 即使是大公司 一百人做model 可能只需要几个人来做infra support 职位数量太少了

alibi 发表于 2020-12-27 14:01
做了两年多ml infra 感觉这条路越走越窄 一方面小公司根本不需要专门的infra组 即使是大公司 一百人做model ...

.--能稍微说说你们组的infra都是做什么work？为啥100人做model 几个人做infra，那没这几个人不也没关系，还要infra做什么

capybara9673 发表于 2020-12-28 13:52
能稍微说说你们组的infra都是做什么work？为啥100人做model 几个人做infra，那没这几个人不也没关系，还 ...

从model的prototype到online / offline serving, lifecycle management，这些都是基本功能层面的需求；从架构上来说，需要和其他traffic，compute，storage相关的infra合作，这些对于做model 的DS/MLE 都是transparent的。
我只能说，比如Tensorflow, Sagemaker从很多方面已经做的很好了，小公司开箱即用。真正ml infra做大的公司好像没有几家吧

brtt13 发表于 2020-12-24 17:07:09
model的人对infra兴趣不大，他们更愿意花百分之八十的时间去提升百分之二十的quality，因为这是impact所在。而infra的人经常要了解最新的模型，但问题是不自己做的话很难真正了解mod

能否展开一下为何说 infra的人需要经常了解最新model ？

. From 1point 3acres bbs我是HR，技术的答不上来，来混个脸熟。

做model更偏research那个方向，组里人也比较多。
从商业角度来说，要能够大规模落地，还是很需要ml platform的，我们老大说这也算是比较新的方向。
做ML Platform需要你是一个engineer，但是又要懂ml。
如果是从HR的角度来回答，ML Platform 适合不那么喜欢做research，喜欢工程和架构的小伙伴。如果你喜欢research，就走另外一条路吧，职位确实更多。

PS.我司 Caper 在招ML platform engineer~
Base 上海，要求3年经验~
硅谷创业公司，目前上海设立研发中心Ing，去年A轮，大概明年6月准备B轮。
目前主做智能购物车和智能结账柜台，都是基于图像识别的新零售自动化方案。
有不少大客户，下一步要做规模化落地了。（入股不亏，么么哒！可我的微信：chenytfzyz，备注一亩三分地）

lake24 发表于 2020-12-27 23:39:45
能否展开一下为何说 infra的人需要经常了解最新model ？

人家跑了个Bert Model然后问你怎么这么慢的时候，你总不能说对不起我不知道那是啥吧😂

alibi 发表于 2020-12-28 15:05
从model的prototype到online / offline serving, lifecycle management，这些都是基本功能层面的需求；从 ...

懂了，你说的是那些现成的模块的确比较成熟了。我对infra那一块的理解是，怎么建立infra可以快速迭代model，比如
- 如何有效做data collection，发现model 在某一个数据pattern下表现不好，建立一个通用的infra找到对应hard example，提高train data的质量来提升model
- 如何设计infra 保证model迭代过程中没有regression之类的

ikazu 发表于 2020-12-25 07:58
ml infra比较偏backend，类似于devops，搭建和维护公司的平台。很多做ml infra的人，出身SDE，不一定是ml e ...

感觉你说的很好，长期来看，ml infra还是很有优势的。对于NG来说，肯定ml model需要的人多，而且NG一般也做不动ml infra。

举一个例子，做ML的华人有很多，比较年轻做到Alibaba VP的这种水平的有几个？这就是做ML infra的优势