四年Machine Learning Engineer心得

end2end的ML infra, 楼主可以举些例子吗

想请问下楼主，申请mle的工作，缺乏大数据的知识和经验会是很明显的短板吗？看到很多招聘岗位包含大数据的要求就挺慌的，但其实自己对这块兴趣不大。。。

说的很好

即将要去一个小公司做e2e ml独当一面... 很慌 提前两个月就开始看各种课程找paper
Lz有没有相关架构或者e2e的自学材料

huiyuancream 发表于 2020-1-27 14:47
想请问下楼主，申请mle的工作，缺乏大数据的知识和经验会是很明显的短板吗？看到很多招聘岗位包含大数据的 ...

没有大数据 谈何机器学习。
你可以不用深入了解架构，但是你应该有一些意识，比如数据过多我们必须要用几十台机器distributed training，这时候的tradeoff是什么？对计算梯度有什么样的影响？

jasonhh 发表于 2020-1-29 04:57
即将要去一个小公司做e2e ml独当一面... 很慌 提前两个月就开始看各种课程找paper
Lz有没有相关架构或者e2e ...

看数据多不多 如果可以一个GPU搞定的话 学习一些开源框架就可以了。

jerrytim 发表于 2020-1-26 11:52
end2end的ML infra, 楼主可以举些例子吗

个人浅见 不一定对。
我目前理解的end2end，包括了training data generating, model training, model serving. 每一块都很复杂。
Training data如何从log中来，以什么样的形式保存在什么样的file system，如何稳定地实现这个data pipeline？
Model training是我们一般意义上的机器学习算法。
Model serving主要是考虑你的模型可以支持多少QPS？需要用多少storage资源？一旦fail了会怎么样？有没有完整的monitoring system等等。

fordreamzju 发表于 2020-1-29 07:01
个人浅见 不一定对。
我目前理解的end2end，包括了training data generating, model training, model se ...

ML pipeline 覆盖的东西太多了，ML model反而只是里面最小的一块，之前觉得DS技能太软，入了MLE的坑，现在发现要学的实在太多了，完全没边

什么是”人设“？
2020共勉

fordreamzju 发表于 2020-1-29 06:48
没有大数据 谈何机器学习。
你可以不用深入了解架构，但是你应该有一些意识，比如数据过多我们必须要用 ...

谢谢楼主指点，我好好补一下这方面的知识。不用深入了解架构也就是说，没有实际的Spark, Hadoop的项目经验姑且还行，但是基础的相关知识要有一些对吗？