谈谈Databricks和云计算

楼主用心了！相信databricks内部应该有很多关于snowflake的竞品分析，在对snowflake的认识上可以再做做研究。云数据仓库是好几年前的概念了，现在的竞争赛道更多的是放在延展性上，即data sharing & data application。sf和db其实走的是相反的两条路，但最终的愿景是很像的，所以导致了最近这一年更加激烈的直接竞争。因为我两个产品都用过，现在sf与一线客户交流也很多，所以有很多有意思的观察，也欢迎以后继续交流。

关于data lake/data warehouse/data lakehouse的讨论，有兴趣可以看看这篇文章，也许能提供一些不一样的思路：https://jeremiahhansen.medium.co ... a-lake-38723fc1be23

同时也干脆借这个机会替snowflake打打广告:) 有志于saas云计算大数据领域的同学不妨考虑申请。

Databricks那篇TPC-DS破世界纪录的文章吸引了非常多关注的。请问lz在内部有感觉到用户们正在从Snowflake往Databricks迁移的趋势吗？

匿名者 发表于 2022-2-15 21:16
谈商业模式没什么问题，但是楼主谈的技术细节错误太多了，比如 Data Warehouse (Spark/Hive/Presto) 也不是 ...

谢谢你指出，我想到Data Warehouse就想到Hive，然后就想到Distributed Database，但是用“distributed database”来概括Data Warehouse应该是不严谨。

但是Spark凭什么也是Data Warehouse了？

Presto我不是很了解，不过它不应该跟Photon一样是query engine而已吗？Snowflake不是Data Warehouse一站式解决方案吗？怎么能跟Photon放在一起比较？

databricks好像只招senior，没有mid level的岗位

cynthiazhxu 发表于 2022-2-15 21:24
Databricks那篇TPC-DS破世界纪录的文章吸引了非常多关注的。请问lz在内部有感觉到用户们正在从Snowflake往D ...

不好意思我离客户比较远，因此不了解有没有这个趋势。

但是我可以下个论断：即使有这个趋势，也只会是Snowflake的少数客户。因为Data Warehouse这种东西就是一但选择了一个技术栈，就很难migrate的东西，再加上Snowflake真的很好用，因此我不觉得会有大量用户迁移过来。如果一个用户真的在Snowflake上而且真的又想做ML，其实Snowflake也有很多partner connect的合作伙伴可以让他们做ML（只不过要把数据从snowflake搬运到partner那里），比如Dataiku等公司，都已经是独角兽了。

2ndcat 发表于 2022-2-15 20:30
以前公司用过是很好用，但是想问一下楼主，很多公司最后发现从Databricks 换成三大cloud的附属产品了，虽然 ...

你的意思是说Lakehouse这种东西，三大云平台很容易就推出一个替代品然后把Databricks干掉？

但是Lakehouse里面那么多组件（SQL query engine，storage，unity catelog，ETL tool，乱七八糟其他的东西）任何一个拿出来都需要一个工程师团队做好几年，做好之后需要不断优化性能以及打磨用户体验。Databricks在这个领域有极大的先发优势，我不觉得三大云平台可以现场组建一个团队做出在性能和体验上都类似的产品。

关于Databricks的TPC结果，CMU的教授，DB领域大牛，Andy Pavlo有个很精辟的评论：only old people care about official TPC numbers.

https://ottertune.com/blog/2021-databases-retrospective/ 是他对2021年数据库领域的看法，有兴趣的可以去读一下。

其实我一直很好奇Databricks提出了Lakehouse这个新的概念，这对于用户是不是无形中设置了一个上手门槛？而且这个概念太新会不会导致推广成本很大？因为这种ToB的应用往往要说服的不是一个人，而是一个组织。而让一个组织接受一个会变更已有工作流程的新鲜事物还是挺不容易的。

Mark一下

小鲤yyds 发表于 2022-2-15 19:00
大致看完了，有几个问题想请教一下，作为一个平台，甲方的数据存在哪？存在你们的类似s3的服务器上还是甲方 ...

作为一个数据平台，当然支持客户的数据存在Databricks这里了。当然，客户的数据也可以存在AWS/Azure/GCP的自己的账户里，让后用户在Databricks的webapp里读就行了。

像制造业，他们有很多很多数据，但数据的格式非常奇怪，需要通过转换才能变成可读的格式

数据只有以Lakehouse的Table的形式存在Databricks上面，才能在上面跑query，所以一定要有ETL pipeline把数据转换成Table才行。至于ML的话，不同的model training framework要求不同的数据格式，所以需要另外的ETL pipeline来转换格式。

跑ml的计算资源是你们databrick提供的嘛

是的，Databricks提供ML runtime（即预装了各种ml包的集群），直接起一个这样的计算集群就可以完成model training了，最近还加了auto ml的功能自动调参。

补充内容 (2022-02-18 10:53 +8:00):
我说错了，客户数据不能存Databricks，是存在自己Databricks账号里面。客户看起来是存在Databricks里面，但是实际上就是在S3之类的存储上面包了一层。

nickligen 发表于 2022-02-15 21:17:37
楼主用心了！相信databricks内部应该有很多关于snowflake的竞品分析，在对snowflake的认识上可以再做做研究。云数据仓库是好几年前的概念了，现在的竞争赛道更多的是放在延展性上，即d

看完楼主的文章，我理解的是databricks和snowflake的一个很大区别是databricks开放了file-based storage，而Snowflake没有，所以用户的ML workload可以直接访问lakehouse里面的文件。但你发的这篇文章却认为file-based storage是一种倒退。如果真的是倒退的话，Snowflake要怎么支持lz所说的ML workload呢？