一亩三分地

 找回密码 注册账号

扫描二维码登录本站

微信公众号
扫码关注公众号
留学申请公众号
扫码关注留学申请公众号
楼主: chztony
收起左侧

业界中DS/ML应用上线Implementation的问题

  [复制链接] |只看干货 |机器学习
我的人缘0

升级   41.43%

eleven 2019-1-7 05:24:07 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (110)
 
 
1% (2)    👎
我知道的也有限,但是最近公司的一次做法是我把算法写成python package, SDE组用AWS lambda包装起来。至于包装之后怎么用我就不知道了,SDE就说你写个python package传个github就可以了。我不懂AWS的东西,所以不清楚这个是不是合理做法。貌似这样做可以建一个什么web api?不太确定。
回复

使用道具 举报

我的人缘0

升级   60.86%

fatfatjoey 2019-1-7 08:49:08 | 显示全部楼层
本楼: 👍   100% (2)
 
 
0% (0)   👎
全局: 👍   91% (1998)
 
 
8% (189)    👎
eleven 发表于 2019-1-7 05:24
我知道的也有限,但是最近公司的一次做法是我把算法写成python package, SDE组用AWS lambda包装起来。至于 ...

合理不合理主要看具体要求,lambda可以很容易的封装出一个web api,不用devops来设置服务器,而且是按request数量计费的,traffic不大的情况下非常非常便宜。但是像我之前提到的情况,如果traffic大,模型要经常更新,管理逻辑复杂,就不是很适用。不过serverless架构是很火的话题,不知道过几年会不会更成熟。

评分

参与人数 1大米 +3 收起 理由
Naruremodopris + 3 给你点个赞!

查看全部评分

回复

使用道具 举报

我的人缘0

升级   0%

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   0% (0)
 
 
0% (0)    👎
值得学习!
回复

使用道具 举报

我的人缘0

升级   0%

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   0% (0)
 
 
0% (0)    👎
牛人,学习!
回复

使用道具 举报

我的人缘0

升级   93.33%

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   0% (0)
 
 
0% (0)    👎
非常值得学习,DS在会跑模型的基础上,看来也应该会一些soft engineering的东西,对于后面的implementation大有好处。尤其如果是在工业界的时候 Machine learning Engineer很受欢迎
回复

使用道具 举报

我的人缘0

升级   14.6%

solomonking 2020-4-1 01:35:32 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   90% (110)
 
 
9% (12)    👎
如果上线Tensorflow model那么Tensorflow Serving + Docker + Kubernetes 就可以很容易的部署在服务器或者云端。

如果是XGBOOST 这类tree model。 我们之前是把它convert成pmml然后部署在服务器上。

现在docker + kubernetes 以及主流cloud platform提供的ML pipeline 工具 比如Azure ML, AWS Sagemaker 让machine learning model deployment 简单了很多。 再配上resources/load management 可以很好的handle 普通流量的applications并且有了cloud也能更好的scale。

个人觉得未来除非有特殊业务场景需求, 比如高并发,real time response这种需要自己design和优化系统,会有越来越多的machine learning model 会以很傻瓜的形式被deploy在各种不断升级的platform上。短短几年, AI/ML 已经被相当程度地democratized, 也有了越来越多的DS懂system 以及 model deployment, SWE懂 modeling,希望未来R&D能够更好地融合,提高生产力。

评分

参与人数 2大米 +2 收起 理由
cynthia601c2 + 1 赞一个
tomato217 + 1 给你点个赞!

查看全部评分

回复

使用道具 举报

我的人缘0

升级   16.14%

gmmessi 2020-4-9 13:54:22 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (22)
 
 
0% (0)    👎
马克磁铁学习
回复

使用道具 举报

我的人缘0

升级   64.5%

redeye1 2020-8-24 00:16:59 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (181)
 
 
1% (3)    👎
mark 一下这个问题,感觉以后肯定会用到的
回复

使用道具 举报

我的人缘0

升级   21%

woaixuexi 2020-9-4 13:34:39 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   100% (10)
 
 
0% (0)    👎
我们公司是java,一般大厂都是java或者c++。

先用python训练模型,然后部署到服务器上,用java或者c++调用,这是常见的做法。tensorflow的部署能力确实很强。
回复

使用道具 举报

我的人缘0

升级   8.29%

myonlysunshine 2020-9-6 06:34:45 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (46)
 
 
0% (0)    👎
当然是打包成一个服务啦
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

隐私提醒:
■拉群请前往同学同事飞友|拉群结伴版块,其他版块拉群,帖子会被自动删除
■论坛不能删帖,为防止被骚扰甚至人肉,不要公开留微信等联系方式,请以论坛私信方式发送。
■特定版块可以超级匿名:https://tools.1point3acres.com/thread
■其他版块匿名方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|||一亩三分地

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

Some icons made by Freepik from flaticon.com

快速回复 返回顶部 返回列表