什么是data pipeline

请问各位大神，又没有人可以帮忙讲一下什么是data pipeline? 好像使用machine learning训练一个model之后就需要一个data pipeline把数据传输到其他地方，是吧？这个一般都是后端工程师还是data engineer来build的呢？可以举个例子说一下什么场景需要data pipeline吗？

谢谢！回复加米！

google搜hadoop ecosystem和ETL

什么场景需要pipeline这个问题太宽泛
1. 大规模数据，数据库之间的sync job/migration
2. 多个数据source,  process之后结果需要存入db
3. 还有不同业务逻辑需要不同的data processing技术

这种问题在谷歌上就有啊，你把你问的直接输入就可以找到想要的。小朋友工作时候不要问这种问题啊啊啊……

这玩意儿找工作有用，什么公司都需要，而且现成的platform太多了

Vinay 发表于 2022-09-11 14:20:44
什么场景需要pipeline这个问题太宽泛
1. 大规模数据，数据库之间的sync job/migration
2. 多个数据source,  process之后结果需要存入db

借问下，层主说的这些，有没有资料或者书籍推荐，虽然在做的工作有些相关，但是转专业，感觉总有些知识是缺失的。

这和ML 没关系。就是但凡和data warehouse，数据分析有关的，都会有自动生成报表/report/dashboard的需求,这个自动化的end to end东西就是data pipeline

流浪的加菲猫 发表于 2022-09-11 14:50:22
借问下，层主说的这些，有没有资料或者书籍推荐，虽然在做的工作有些相关，但是转专业，感觉总有些知识是缺失的。

可以看DDIA

move data from A to B automatically

lz可以去问问google，那里都有你要的答案。