谈谈Databricks和云计算

匿名用户 发表于 2022-02-15 20:36:40
往好的方面想，这也许就是一种招聘策略。加上冗长的coding assignment和interview rounds，很容易就筛选出服从性强的，真心的candidate，毕竟db的文化就是top do

Haters gonna hate

newgpu 发表于 2022-02-15 21:54:05
作为一个数据平台，当然支持客户的数据存在Databricks这里了。当然，客户的数据也可以存在AWS/Azure/GCP的自己的账户里，让后用户在Databricks的webapp里读就行了。

hmmmmm
不支持存储。
一定程度上可以直接读，不存在lakehouse table这种概念。
ML也不怎么挑table format

滚动的西瓜 发表于 2022-02-16 10:52:11
不是，目前公司没有自己的存储服务。都是存在cloud storage, customer account

多谢解答，所以实质上是存在了cluster之中某些vm对应的storage account？

滚动的西瓜 发表于 2022-2-16 10:53
优势在于，超过一半的用户，都是multi cloud。而且没有一个云厂商愿意，或者能够做好multi cloud

作为用户，为什么需要multi cloud，motivation是什么？
1. 单独的云不能提供某种服务，需要多云。
2. 减少cost，用尽量便宜的，性价比高的component
3. 用户开发简单，开发一套系统同时支持多个云

一个全家桶“简单 粗暴 能用”不香吗？

newgpu 发表于 2022-02-15 22:30:05
Ahana我不了解。Starburst的东西是一个query engine，只是Data Lake/Lakehouse中的一个组件而已。他们当然都是有自己的客户群体的，比如有的客户只是想有个简单的Da

serverless就是烧钱准备cluster pool，不是提升性能

匿名用户 发表于 2022-02-16 10:59:35
作为用户，为什么需要multi cloud，motivation是什么？
1. 单独的云不能提供某种服务，需要多云。
2. 减少cost，用尽量便宜的，性价比高的component

别逼问我，这不是我推导的。如果你做云2b，随便做个市场调研就行了。我们只能顺应市场，市场选择了m cloud。

如果你有格局仔细了解，我可以分享一下我的看法。一个公司，稍微大一点的市场，多样性太大了。不同的地区，不同的产品线，不同的组，统一性非常差的，这不只是云的选择，很多东西都是这样的。很多科技公司，都一个公司好几个架构，就更别说非科技公司了。这也就是为什么data warehouse卖不过data lake，真正多样化，多源的架构，才适合更多的企业。

liang3164 发表于 2022-02-16 10:58:56
多谢解答，所以实质上是存在了cluster之中某些vm对应的storage account？

你可以理解为fs mount，多的不能解释了。

赞啊！顶起！

Good stuff!

滚动的西瓜 发表于 2022-2-16 11:08
别逼问我，这不是我推导的。如果你做云2b，随便做个市场调研就行了。我们只能顺应市场，市场选择了m cloud ...

谢谢回复，总结下来就是，多元化的云，可以取长补短，利用各个云的优势，价格优势，性能优势，功能优势来拼出一个更强的系统，用户不用和某个云直接绑定。同时还要保证开发环境的统一，便于开发者。这些在我上面总结就是
1. Infra cost
2. Infra efficiency
3. 开发者体验，易于开发，易于维护。
..
为了上面3点，那只要把抽象层做好就好可以了，在三大云上做封装。这是主要商业模式卖点。

与此同时，为了长远布局，DB不想仅仅依赖于三大云的infra，而是自己也要搭ML，DB各种infra，希望以后有自己的云Infra，“作为第四大云存在” 而不仅仅是 “基于三大云的抽象”。

不过对于大厂，GCP提供了Google内部几乎所有的infra功能，用GCP/AWS/Azure 已经提供了所有的功能和性能，我不觉得有任何“商业逻辑” “商业需求”是某一个云不能单独支持的。