python写成流数据处理到底是啥意思？

看Facebook的data engineer面经 考了基本的sql之后要求用python写成流数据处理

请问这个是啥意思？

古代：编写存储过程，在SP里面装入SQL，通过服务器脚本触发调用存储过程，最后实现类似ETL的功能。

近代：把SQL装入SSIS里面，服务器上建JOB，调用SSIS。

现代：把SQL装入PYTHON，用PYTHON实现SSIS的功能，脸书家首创。从此ETL改名为data pipeline。

写PYTHON代码，调用SQL，实现数据库之间传输，这就是脸书DE Onsite的面试内容之一。因为入职后，首先就是维护PYTHON代码编写的ETL。

虽然不懂 但是我猜应该是说那种实时更新的 随时有新数据进来的 情况吧 显然和普通的硬盘上存储的数据是不一样的

同不懂 排队等解答

stream processing pipeline那种吗？

李浩泉 发表于 2020-6-23 04:33
古代：编写存储过程，在SP里面装入SQL，通过服务器脚本触发调用存储过程，最后实现类似ETL的功能。

近代 ...

古代近代可还行。。。就是python跑SQL，没啥技术难度

李浩泉 发表于 2020-6-23 04:33
古代：编写存储过程，在SP里面装入SQL，通过服务器脚本触发调用存储过程，最后实现类似ETL的功能。

近代 ...

想請問一下方便舉個實際的例子參考一下嗎? 感謝

ryanhuang0703 发表于 2020-8-6 14:02
想請問一下方便舉個實際的例子參考一下嗎? 感謝

同求！是写个function每进来一行，处理一下，存global吗？有大神可以解释一下吗？谢谢了~

pyspark streaming？