业界中DS/ML应用上线Implementation的问题

eleven 发表于 2019-1-7 05:24
我知道的也有限，但是最近公司的一次做法是我把算法写成python package， SDE组用AWS lambda包装起来。至于 ...

合理不合理主要看具体要求，lambda可以很容易的封装出一个web api，不用devops来设置服务器，而且是按request数量计费的，traffic不大的情况下非常非常便宜。但是像我之前提到的情况，如果traffic大，模型要经常更新，管理逻辑复杂，就不是很适用。不过serverless架构是很火的话题，不知道过几年会不会更成熟。

值得学习！

牛人，学习！

非常值得学习，DS在会跑模型的基础上，看来也应该会一些soft engineering的东西，对于后面的implementation大有好处。尤其如果是在工业界的时候 Machine learning Engineer很受欢迎

如果上线Tensorflow model那么Tensorflow Serving + Docker + Kubernetes 就可以很容易的部署在服务器或者云端。

如果是XGBOOST 这类tree model。 我们之前是把它convert成pmml然后部署在服务器上。

现在docker + kubernetes 以及主流cloud platform提供的ML pipeline 工具 比如Azure ML， AWS Sagemaker 让machine learning model deployment 简单了很多。 再配上resources/load management 可以很好的handle 普通流量的applications并且有了cloud也能更好的scale。

个人觉得未来除非有特殊业务场景需求, 比如高并发，real time response这种需要自己design和优化系统，会有越来越多的machine learning model 会以很傻瓜的形式被deploy在各种不断升级的platform上。短短几年， AI/ML 已经被相当程度地democratized， 也有了越来越多的DS懂system 以及 model deployment， SWE懂 modeling，希望未来R&D能够更好地融合，提高生产力。

马克磁铁学习

mark 一下这个问题，感觉以后肯定会用到的

我们公司是java，一般大厂都是java或者c++。

先用python训练模型，然后部署到服务器上，用java或者c++调用，这是常见的做法。tensorflow的部署能力确实很强。

当然是打包成一个服务啦

关注，也是个real-time的问题，我自己是DS，可能自己太弱了，每当SDE问我用了几个core的时候我都心虚。。。我像他们推荐sagemaker；也看到内部有python打包再被java调用的