谈谈Databricks和云计算（二）

楼主好

不知道楼主是否清楚 Delta Live Table 组的状况? 请问这个组的前景如何?

感谢分享!

感謝乾貨分享，受益良多

newgpu 发表于 2022-2-25 09:09
你说的图像和视频都属于non-structured data。

semi-structured data就是花里胡哨格式的：比如list里 ...

你举的这个例子是analytic的例子，我承认这样对于分析非常友好，不用join来join去了。但ML workflow你并不能把json嵌套数据丢进去，丢进去之前还是需要ETL展开成一维的数据，plus一些feature engineering，所以说这点对于ML友好感觉并不成立。

newgpu 发表于 2022-2-25 09:50
DW里面是很少做normalize的，因为这里的数据真的很大，而且在上面跑SQL的时候往往要扫过大量的row（比如D ...

Athena是支持同一个库（Glue Catalog）下join的

很感谢楼主的分享，对于DataBricks, Snowflake等Data SaaS一直很感兴趣。无奈待过的公司都有自己的一套数据存算解决方案，自己没数据注册了试用也没什么意思。能听到里面组件一些分享还是很有意思的。期待一下后面会不会有Snowflake。