谈谈Databricks和云计算（二）

DeltaLake是它的dbfs里存的那些吗

楼主，干货！

顶一顶，两个帖子都收藏了，想问下lz对于distributed storage system和distributed query engine这两个领域的发展前景有没有了解呢，我虽然对这个有了解，但是毕竟没这么有工业届经验，看不到太长远，望lz点拨一下。

“semi-structured data的支持对ML workload帮助很大”
ML的workload为什么需要这种JSON一样的文件， ML也是基于table的。
传统意义上ML 需要semi-structure,是指图像，视频吧

谢谢楼主讲解DB的产品以及后台的技术。

个人很好奇DB的Go to market策略。Are they trying to be a new category owner? 个人感觉得能用得了databricks 的客户要么是enterprise 要么是对real-time data有很高要求的客户。。。

zzz6222 发表于 2022-2-24 15:21
“semi-structured data的支持对ML workload帮助很大”
ML的workload为什么需要这种JSON一样的文件， ML也 ...

你说的图像和视频都属于non-structured data。

semi-structured data就是花里胡哨格式的：比如list里面套struct里面再套list。

想象一下这样一个user table：
user_id: int
user_purchased_items: list of UserPurchasedItems

然后UserPurchasedItems是这种格式：
item_id: int
item_category: list of int
price: double

所以某条数据可能长这样：
user_id: 123
user_purchased_items:
  {item_id: 111, item_category: 222, price: 0.5}
  {item_id: 112, item_category: 223, price: 0.6}
  {item_id: 113, item_category: 224, price: 0.7}

然后对这个user table进行建模。如果放在DW里面，“user_purchased_items”这个list只能被扔到某个column里面，里面的item_id和item_category都不能放进schema里面，所以丢失了一些信息。如果用Delta Lake格式（或者Iceberg等其他类似的格式）存储，可以支持在schema里面对这个list里面套struct的数据类型进行建模。最厉害的就是：用Delta Lake格式存储这个数据以后，你可以直接用SQL query这个table，问“多少用户买的东西加起来超过5块钱”这种问题。而DW直接丢失了list里面的item_id，item_category，以及price的信息，所以也不可能支持这样的query。如果你做过ML就知道，这样的table是非常常见的。

支持楼主, 帖子信息量是大的, 但是对于对databrick 产品不熟悉 或者对大数据仓库各个概念只是粗浅认识的人 (比如我自己)来说, 帖子里的buzzword 稍微有点多了. 假如楼主能举个关键例子把db的核心功能全部串起来, 而且能分析db是如何解决痛点的, 相信读者能更好的接受. (这个要求的有点多 :)

cynthiazhxu 发表于 2022-2-24 10:34
听LZ的介绍Delta Live Table跟PostgreSQL，SQL Server的materialized view好像是同一个东西。为什么要取一 ...

我的理解是这样的（说得不对请指正）：
materialized view是专属于Database的概念，但是我们这里说的Delta Table跟Database没什么关系。Delta Table虽然也是table，但是它是用来在S3上面存储大数据的，虽然它也有ACID transaction和schema的支持，但是它跟传统数据库还是区别很大的（就是OLTP跟OLAP的区别）。

因此你可以说“materialized view”之于Database就是Delta Live Table之于Delta Table（虽然这样类比可能也不严谨）。因此我觉得纠结于这些概念没有用，我们只需要知道Delta Live Table可以帮你省去一些手动做ETL的工夫就行了。

eveliu11 发表于 2022-2-24 10:36
DeltaLake是它的dbfs里存的那些吗

dbfs其实就是S3（假设在AWS上），因此它上面可以存任何东西。Delta Lake只是一种数据格式，当然可以存Delta Lake格式的数据在dbfs上。但是任何其他格式的数据也可以存dbfs