谈谈Databricks和云计算（二）

火钳刘明

匿名者 发表于 2022-2-24 09:22
culture奇差的一家公司. 技术再牛逼进去也是遭罪

它家啥culture啊？为啥极差？

cynthiazhxu 发表于 2022-2-24 18:45
lz真的看好Starburst吗？Databricks的Photon出来之后应该对Startburst冲击很大吧

你不能单纯把DB SQL拎出来跟Starburst比较。Starburst肯定有它自己的市场的：我能想象出的一种客户就是，不需要全家桶的大数据平台，但是在AWS、Azure和GCP里都存了一些开源格式的数据，如果需要query这些数据（甚至join不同云上的数据），Starburst对于他们会是很好的选择，因为Starburst支持跨云的Join（如果我没搞错的话）。还有一种客户喜欢自己搭建大数据平台，那么可以直接在AWS上用Starburst提供的image起一个装好了他们query engine的cluster。

长期来说，DB这样的基于开源和云平台的没有优势，原因很简单，开源保证了框架是透明的，你能优化别人也可以，云平台保证了你最多只能优化到云存储这一级，比如你无论如何折腾S3，都不可能和AWS比，因为别人可以直接走到S3协议层以下而你却不能，这就好比当年微软一样。

不过短期来说，不能说没有机会。这关键有两点，第一hadoop+spark是一个非常大的生态环境，如果自己能成为这个环境里的用户体验第一，肯定营收不会差。此外公有云即使db的竞争者们也是db的vendor，所以这个竞争关系比较subtle，至少短期之内公有云并没有要搞死db的动机。

cynthiazhxu 发表于 2022-2-25 02:34
听LZ的介绍Delta Live Table跟PostgreSQL，SQL Server的materialized view好像是同一个东西。为什么要取一 ...

Databricks这个公司喜欢发明一些看起来特别新的名词。我之前看这个公司发布的一些新东西，怀着好奇心了解了一下，发现只是换个名词而已。

并非贬义，仅仅是陈述客观情况。

楼主说说DB 用啥optimizer?

楼主好适合做db的technical sale 哈哈

newgpu 发表于 2022-2-24 18:09
你说的图像和视频都属于non-structured data。

semi-structured data就是花里胡哨格式的：比如list里 ...

既然有query structured data的需要，放sql db不就完了么？

我不懂databricks啊，学习中。

并不是做infra的，不过楼主你说的这些东西有一些规模的公司都有自己的一套，apache spark sql，pyspark，airflow啥的不都开源的？没感觉你说出databricks技术到底哪里牛逼，他们这些服务给没有做infra的小公司用很方便倒是

看完这两篇文章，更加后悔自己面挂了databricks了。