谈谈Databricks和云计算

newgpu 发表于 2022-2-16 00:46
你的意思是说Lakehouse这种东西，三大云平台很容易就推出一个替代品然后把Databricks干掉？

但是Lakeh ...

例如GCP，这些东西不是GCP Bigquery sql, ML / ETL pipeline, storage啥的都有很类似的啊， ML clusters 类似Docker的功能也有，也有automl, 也有自定义的notebook/jupyterlab之类的，功能有差距但是感觉都能用， 关键还可以免费或者极度便宜地给用户用？

Databricks技术上确实很成功，lz对公司商业上的发展有什么感受么？Snowflake虽然这几年收入增长基本都在100%以上，但是大多数钱都花在了销售推广上，所以一直还在亏钱。Databricks和Snowflake两家公司还是处于烧钱抢用户的状态么？

太强了！！！

匿名者 发表于 2022-2-15 21:59
例如GCP，这些东西不是GCP Bigquery sql, ML / ETL pipeline, storage啥的都有很类似的啊， ML clusters  ...

功能有差距但是感觉都能用?
这个我没做过调研，我真不知道到底功能差距多大，到底是不是都能用。

关键还可以免费或者极度便宜地给用户用？
真的免费或者极度便宜吗？举个例子，Databricks的Photon由于性能真的很好，导致跑SQL workload在性能更高的情况下还比三大云平台便宜。

akafy 发表于 2022-02-15 22:06:08
Databricks技术上确实很成功，lz对公司商业上的发展有什么感受么？Snowflake虽然这几年收入增长基本都在100%以上，但是大多数钱都花在了销售推广上，所以一直还在亏钱。Databrick

的确都在烧钱请用户。但Snowflake 最近一次财报的EPS已经是正的了

匿名者 发表于 2022-2-16 05:59
例如GCP，这些东西不是GCP Bigquery sql, ML / ETL pipeline, storage啥的都有很类似的啊， ML clusters  ...

三大平台必然会对这块市场垂涎的，之前三家一起投资Databricks明显就是想给自家的平台做一个对冲，不论哪边最后做成了自己都是股东。只是不知道由于三家平台可能提供的竞品会对Databricks的profit margin伤害多大。

匿名者 发表于 2022-2-15 21:46
关于Databricks的TPC结果，CMU的教授，DB领域大牛，Andy Pavlo有个很精辟的评论：only old people care abo ...

我觉得不是“Databricks提出了Lakehouse这个新的概念”，而是Databricks不断根据客户的实际需求修改产品，做到最后发现整体的架构已经跟Data Lake/Data Warehouse差距都很大了，就起了个新名字叫Data Lakehouse。

联系的hr已经消失一个多月了，一直说聊一聊约面试。 联系了之后，又消失一周，然后又联系上约时间，又消失了。一直说自己有很多会。。。。。不知道啥时候才能约上。

cynthiazhxu 发表于 2022-2-15 21:56
看完楼主的文章，我理解的是databricks和snowflake的一个很大区别是databricks开放了file-based storage， ...

为什么ML workload必须要访问file-based storage呢？楼主所描述的两个pipeline就是因为很难有平台能同时支持analytics和ml的需求。设想提供一个api，能支持scala/java/python等语言，可以用data frames的形式query sql tables。这样一来，就不用像传统ml workload一样需要把数据导入app code运行的环境，而是直接push down所有的计算与训练。snowflake提供的snowpark library就是这么一个api，也就是我所说的data application的延展性。再加上snowflake本身就支持在relational table里面存储semi-structured data，从pipeline的架构上讲，统一的data storage和compute就可以支持多个 workload，大大减少了维护的成本。

匿名者 发表于 2022-2-15 18:49
有几个问题想问下楼主：
1. 存储计算分离也不是什么新概念，比如Trino/PrestoDB，是FB从12年就开始做的开 ...

1. 存储计算分离也不是什么新概念，比如Trino/PrestoDB，是FB从12年就开始做的开源项目，后来分支了，现在相关的startup有Startburst, Ahana，做出来的东西性能很好，里面的人背景也很厉害，请问楼主关于Databricks和这些公司比较的看法？

Ahana我不了解。Starburst的东西是一个query engine，只是Data Lake/Lakehouse中的一个组件而已。他们当然都是有自己的客户群体的，比如有的客户只是想有个简单的Data Lake，不想用Databricks全家桶那么复杂的东西，只是想query一下自己放在s3上的数据，那么Starburst其实很适合他们。

2. Cloud datawarehouse在某些方面有一定优势的，举个例子，可以给专门的存储建立索引和聚合，这个存储和计算分离的方向就做不到，比如Firebolt，这家里面的人的背景也很强，我感觉是现有产品里面最快的，不知道从楼主的角度Databricks是怎么看待这方面的优化的局限？

你这个问题真的难倒我了，不好意思我完全不懂

3. 现在还有新方向比如从transaction/indexing起家做lakehouse的公司，比较出名的是OneHouse，前身是Apache Hudi，这个项目的名声做这方面的应该都懂，楼主对这两类产品的比较怎么看？

不好意思这个问题也超出了我的知识面，等我了解了解说不定能跟你探讨一下。

4. 关于Serverless Endpoint，其实就是fully managed SQL query service，这个三大云厂商都有对应的服务，真正的难点在于资源的估算、利用率和调度，这些云厂商其实内部在这方面有很大的优势，能用某些不可描述的方法大幅降低成本。如果我没猜错的话，如果Databricks在这方面刚起步，应该是亏钱的，而且是用的人越多亏的越多，请问楼主怎么看待Databricks在成本方面和这些云厂商的竞争？

你对Serverless Endpoint的理解非常精准（我都怀疑你是不是Databricks员工了），但是据我了解Serverless Endpoint直接让用户跑SQL query的速度翻倍了，因此它的性能是非常好的，因此我（虽然不知道是不是真的在亏钱）不觉得这是个在亏钱的产品。