谈谈Databricks和云计算

liang3164 发表于 2022-2-15 19:21
可以存在S3或者azure storage account里面，要persist在Databricks里面的话也可以的，比如在notebook里直 ...

cluster里的存储是transient的，cluster shutdown了就没了。Databricks有一个DBFS我记得，其实就是在S3上面套层壳，最后花的还是你自己的AWS budget。

匿名者 发表于 2022-2-16 17:40
谢谢楼主回复，非常清晰，清楚。
1. 这是不是data lake可以直接满足，或者Google dremel是不是就可以满 ...

我觉得你不用纠结于Data Warehouse/Lake/Lakehouse这三个概念。Databricks只是在Data Lake上面实现了很多新功能，然后给这些功能的集合起了个新名字叫Lakehouse。

你问我这些是不是“data lake可以直接满足”，其实只做ML的话确实一个Data Lake就够了，而且Data Lake这个概念也没什么大不了，它就是存储层+query engine+一堆ETL pipeline的一个集合。但是Data Lake不支持transaction，不支持fine-grained access control等等功能，而这些功能对于公司管理数据是很重要的。因此你一个人自己玩玩ML的话，搞一个Data Lake就够用了，而任何一个公司都不会不在乎数据权限以及data lineage的问题（以及利用transaction去rollback数据），Databricks只是实现了一些功能解决了这个问题，然后宣布“带有这些新加功能的data lake现在叫做lakehouse”。

匿名者 发表于 2022-2-15 21:16
谈商业模式没什么问题，但是楼主谈的技术细节错误太多了，比如 Data Warehouse (Spark/Hive/Presto) 也不是 ...

楼主说的传统Data Warehouse应该是指像Redshift那样的垃圾。

z920631580 发表于 2022-2-16 16:09
想知道LZ怎么看DB的用户体验的问题呢，我其实都没用过orz上课也不用这俩。但是总能听到snow的用户体验很好 ...

snow适合入门级用户，传统企业上云之类的，全托管的模式，体验当然是很好，但是限制也会多一点。DB适合比较advanced一点，有自己的Data/ML team的公司。

fatfatjoey 发表于 2022-02-16 18:16:00
cluster里的存储是transient的，cluster shutdown了就没了。Databricks有一个DBFS我记得，其实就是在S3上面套层壳，最后花的还是你自己的AWS budget。

Cluster shut down之后，cluster所用的vm也会shut down，但storage account其实还在那，我就是好奇数据是不是就在那个和vm关联的storage account 里

匿名者 发表于 2022-2-16 17:53
1. 有Replica还会AWS挂掉，也是可以，这种情况是不是极为罕见，毕竟FB也挂过，真挂了AWS就赔钱吧？

2. ...

1. 几个小时服务不可用带来的业务上的损失可能是很大的， AWS 根据 SLA 是不可能陪这些钱的。除了 Replica 以外，还有很多其他问题，比如资源供应的问题，比如AWS 在某个可用区在某个时间段没有足够的 machine 提供，那么企业可以寻求其他云来提供资源。

2. 这个分几个方面，对于提供多云支持服务的 SaaS，云那部分钱一般是云厂商直接收取的，所以和 SaaS 服务本身关系不大。另一方面，很多企业内部系统架构从设计的时候就要考虑了多云的需求，避免 lock-in.

newgpu 发表于 2022-2-16 18:17
我觉得你不用纠结于Data Warehouse/Lake/Lakehouse这三个概念。Databricks只是在Data Lake上面实现了很多 ...

"但是Data Lake不支持transaction，不支持fine-grained access control等等功能，而这些功能对于公司管理数据是很重要的"

Data Lake在什么情况下，需要transaction支持？我理解的。除非是payment system 金融系统，不然不需要strong consistency。Data lake主要是用于analysis和ML，在非金融领域，这两个一般并不需要strong consistency。analysis数据一般都是滞后的，ML的话，最后主要看a/b test result, 退一步讲，data有瑕疵不要紧，只要a/b test result好，就能上。所以data lake需要transaction的时候，可能不广泛。

Fine grained access control，政府机构，可能在乎，大多数business 小厂各种security incident，我感觉它们的priority不在这上面，有了更好，但不是核心需求。

Data lineage, 追踪了数据之间的dependency，主要用于verification，debug提高efficiency。这个适用于data flow比较长比较复杂的时候，对于大多数，可能直接log debug也许就可以～

liang3164 发表于 2022-2-16 18:31
Cluster shut down之后，cluster所用的vm也会shut down，但storage account其实还在那，我就是好奇数据是 ...

比如在notebook里直接%sql Create table xxx，这里应该是用到了cluster里的storage？

^ 你说的这种情况，就是存到了DBFS里，而DBFS底层就是一个你自己的S3 bucket，只不过是交给Databricks托管的。不知道这样有没有讲清楚。

匿名用户 发表于 2022-02-16 17:53:11
1. 有Replica还会AWS挂掉，也是可以，这种情况是不是极为罕见，毕竟FB也挂过，真挂了AWS就赔钱吧？

2. 价格上，避免了被某云lock in，可是变向的不是被“支持多云的servic

Multi cloud 是政治需要大于技术需要，但满足政治需要也是一个巨大的市场

匿名用户 发表于 2022-02-16 15:49:46
介于DB是在三大云厂商之上的，$800M ARR会被三大云厂商分掉多少，有多少是落在DB口袋里的revenue，再减去cost，有多少profit，margin是多少。

DB如果是在三大云厂商之

Databricks 800M ARR是剔除客户在三大云厂商的cost的