谈谈Databricks和云计算

冒昧问一个很俗的问题，有做投行的朋友猜测，databricks迟迟不上市，可能是sales number不好，上市就不得不公布财报了，但number不会beat预期，股价不会太乐观……请问楼主有什么comment吗？
谢谢！

匿名者 发表于 2022-2-15 18:49
有几个问题想问下楼主：
1. 存储计算分离也不是什么新概念，比如Trino/PrestoDB，是FB从12年就开始做的开 ...

最后一点从我个人经历来讲觉得说得很好。单从存储的角度讲，disk是一个方面，做analytics和ML读写占用的network bandwidth是另外一个方面，两者的成本开销都很大。虽然客户数量很重要，但是与大部分人直觉相反的是云厂商绝大部分收入都来自于头部十几二十几个大客户。针对头部客户他们的workload做优化，从内部和从外部出发是完全不一样的，甚至很多东西是没办法从外部做的。

谢谢楼主介绍，很详细。我自己做了几年data，呆了几个team，当然是我个人浅薄理解的是，一般team对 Databricks的感官就是，很牛逼很强大，从费用开发维护都很贵，但是我们用不上。 还不如用AWS全家桶，或者GCP全家桶算了。。。。

拨面鱼酥 发表于 2022-2-15 22:31
冒昧问一个很俗的问题，有做投行的朋友猜测，databricks迟迟不上市，可能是sales number不好，上市就不得不 ...

作为内部员工我不能透露敏感信息，但是我对公司当前的利润情况以及前景都非常有信心。未来上市的时候我们就能看到真正的财报了。

chenwang9527 发表于 2022-2-15 22:35
谢谢楼主介绍，很详细。我自己做了几年data，呆了几个team，当然是我个人浅薄理解的是，一般team对 Databri ...

有道理。你自己有工程师团队维护很多东西的话，确实没必要用Databricks的managed data lakehouse，完全可以自己在AWS或者其他云平台搭建。Databricks的解决方案当然不会适合所有客户。

nickligen 发表于 2022-02-15 22:26:25
为什么ML workload必须要访问file-based storage呢？楼主所描述的两个pipeline就是因为很难有平台能同时支持analytics和ml的需求。设想提供一个api，能支持sc

Ali Ghodsi认为的lakehouse优势：Data warehouses don’t have support for sparse data sets that ML/AI uses.
但你的意思是snowflake在data application 的发力会打破传统data warehouse的这个limitation。

nickligen 发表于 2022-2-15 22:26
为什么ML workload必须要访问file-based storage呢？楼主所描述的两个pipeline就是因为很难有平台能同时 ...

还是我上面说的，LZ 的文章讨论商业模式没问题，但是谈论技术细节上混淆了太多概念以及表述上有太多的错误。回到你的问题，目前的大数据处理系统 (先忽略掉 data warehouse/data lake 等等这些主要用于商业噱头的词汇) 在存储层面都是基于文件存储的 (Orc/Parquet etc.), 但是传统 OLAP SQL workload 的特点是存储文件是 immutable 的，导致如果你想更新或者删除已经写好的文件中的部分内容的话（比如想删除 relational table 中的某些行），必须重新读取整个文件并在内存中做对应的修改再重新写入到一个新的文件中，这对 OLAP 以分析、查询为主的workload 没有问题，但是对于 ML 这种需要大量迭代更新数据的 workload 在这种 immutable 文件存储系统之上的效率就很低了，所以新一代的系统 (比如 Apache Hudi/iceberg etc) 解决了在 immutable 文件存储基础上如何高效更新、修改数据的问题，使得传统的 data warehouse 能够有效的支持 SQL 以及 ML workload。

cynthiazhxu 发表于 2022-2-15 22:43
Ali Ghodsi认为的lakehouse优势：Data warehouses don’t have support for sparse data sets that ML/AI  ...

可以认为Ali这句话没有错，但从产品上讲，Snowflake早就不是一个data warehouse了。

Snowflake is where your data cloud experience begins: one platform, many workloads, no data silos. Data warehouse is just one of the many workloads Snowflake supports.

newgpu 发表于 2022-2-15 21:25
谢谢你指出，我想到Data Warehouse就想到Hive，然后就想到Distributed Database，但是用“distributed da ...

OK, 抱歉我纠正一下我的表述，我指出的是你针对 query engine 层面的错误，实际上， query engine 基本上和你想讨论的 warehouse/data lake etc 是正交的概念。在 query engine 层面来说，你说的这些系统没有太多本质上的区别 (spark/hive/presto/photon/ Snowflake's query engine etc), 他们都支持 data warehouse/data lake etc。

刚看了下，amazon的data warehouse redshift也应该19年开始存算分离了，cost也很低，文章介绍说新cluster比原来快十倍。个人总感觉learning curve很重要，虽然站在码农角度学习速度很重要，但是站在公司角度速度很重要。databricks会不会好到让别的用户大费周章 migration？我觉得不太可能，还是说要吸引新客户。总感觉对大多数公司有点傻鸡用宰牛刀了。

虽然不知道aws和databricks的合作付不付钱，完全开源总感觉会走elasticsearch老路，不管如何祝贵司发展越来越好。