业界中DS/ML应用上线Implementation的问题

glennq 发表于 2017-7-7 14:54
我觉得这个问题的关键在于，你们公司需要
1. 一套ML模型专用的请求返回接口
2. 定下一套常用的ML框架，在 ...

谢谢！ 这些方案都得和SDE讨论看看了， 毕竟自己没CS背景能写点OOP懂点基本常识已经很勉强了囧。。

chztony 发表于 2017-7-8 02:32
谢谢！ 这些方案都得和SDE讨论看看了， 毕竟自己没CS背景能写点OOP懂点基本常识已经很勉强了囧。。

关键是要让SDE觉得他们能一劳永逸的开发一套工具，然后以后新的模型只要还是用同一个框架（比如tensorflow，scikit-learn，或者spark mllib），就能很方便的用这套工具两三下搞定。

要是每次有个新模型都得用JAVA重写那谁都受不了

这楼的讨论很不错啊
这也是为什么，虽然有SDE，做模型开发的同学还是越能码越好，方便交流合作。

建议尽量不要用什么JAVA重写，以后很难很难找到其他DS来维护的。

你们要是不做严格意义上online learning，做的model可以l隔一段时间offline re-train一次后把train好的model发给SDE。根据你们的model，他们来implement一个featurel对新用户scoring，当然你们也得做个一个table来收集这些new user的feature，prediction结果，和actual activity。

至于做table这个东西，最好自动化。我们用的是Apache Airflow。

BTW，sklearn+Amazon test box instance，handle 几十GB 左右data没什么太大问题。

glennq 发表于 2017-7-7 14:54
我觉得这个问题的关键在于，你们公司需要
1. 一套ML模型专用的请求返回接口
2. 定下一套常用的ML框架，在 ...

问个小白问题。。请问一下返回这个借口是不是指例如把Python写成一个包封装起来的意思呢？然后整个包给SDE？ 那么这个包是存在线上呢还是哪里离线的呢？

glennq 发表于 2017-7-7 14:54
我觉得这个问题的关键在于，你们公司需要
1. 一套ML模型专用的请求返回接口
2. 定下一套常用的ML框架，在 ...

我感觉你提的第一套方案比较可行又可以重复利用。。。 小白一个，但是不知道这些都需要具体怎么实现。有没有一些相关的东西可以分享读一下呀？

demonhunter 发表于 2017-7-8 16:22
建议尽量不要用什么JAVA重写，以后很难很难找到其他DS来维护的。

你们要是不做严格意义上online learnin ...

那么这个model还是用python写的是嘛

可以用python训练模型，线上用java做prediction。不同模型方法不同，没有一劳永逸的办法

正在做的工作内容就是exactly做这个: 将data scientist做好的model launch to production, 简单答一波~
在目前所在公司的流程是
0. Data scientist训练测试完的model保存成一个可以直接call的格式
1. 将feature pulling的过程改写成一个脚本，一般sql pull from database
2. 将feature cleaning的过程写成一个脚本，一般python or R
3. 将prediction过程写成脚本
（1-3 原文件都是data scientist写的，这里主要是模块化，参数化，改进效率etc，写成可以直接call and run的project）
4. 再写脚本将以上步骤串起来，配置好database、server、各种环境参数、中间步骤的input output各种路径连接
5. docker封装
6. 写Airflow scheduling the whole process, 写monitor监测每个步骤

zxiaoc 发表于 2018-8-18 03:39
正在做的工作内容就是exactly做这个: 将data scientist做好的model launch to production, 简单答一波~
在 ...

谢谢！最近也在研究相关资料