谈谈Databricks和云计算

匿名者 发表于 2022-2-16 11:34
谢谢补充。对于您举的semi structure的例子, user id, 和不确定长度的item id,我们直接将它拆成以
, 以u ...

1. 关于拆分然后存在relational/non-relation DB里面（其实就是denormalize）：我们这里讨论的是analytics database而不是供online server读写的database。如果是供online server读写的database，我们肯定需要denormalize来优化性能。Data Warehouse以及Lakehouse都面向的是analytics使用场景，这些场景的特点是数据大，跨表join贼贵，因此一般会在一张表里面存很多数据。在此基础上，如果一张表的数据既要用SQL query它，又想支持ML，理想状态就是这张表的每一行数据都对应ML model的一条training example，方便ML team直接写一个简单的ETL pipeline就能把表里的数据抽出来喂给model training system。这也就是我为什么举了user activity的那个例子，真实场景下，ML组是绝对不会考虑去denormalize那张表的。

2. “对于这些存储方式，它们既能支持ML，各种商业逻辑，也有性能保证”：这个推断太过于简单随意了。“支持ML”，“支持各种商业逻辑”，“性能保证”，随便一个拿出来都不是简单就能完成的。如果你想拿其他任何一个产品出来（比如GCP上面的各种东西）和Databricks的比较，然后论证Databricks的东西可以很容易被替代，你需要比较以下几个方面：
- feature parity（两边是否功能相同）
- user experience（用户用着爽不爽）
- performance（性能，也可以拓展一下含义，包含价格）
- 其他（还有其他细节我就不列出来了，比如跟其他产品的兼容性）
我觉得你需要深入调查才能下结论说Databricks可以很容易被XXX产品替代。

我举个例子，在Databricks里面做SQL Analytics以及ML都可以在Notebook里面完成。用那个user activity table的例子，一个ML engineer可以在Databricks里面新建一个Notebook（就像Jupyter Notebook），在Notebook里面写SQL query大概了解一下table里面有哪些数据，哪些数据能做成feature，然后跑完query直接在Notebook里面把数据可视化，了解一下feature distribution。在同一个Notebook里面，我可以用SQL写一个简单的ETL pipeline，也可以用Scala写一个复杂的ETL pipeline来把数据转换成喂给ML training framework的格式。然后在同一个notebook里面，可以继续写Python代码用各种framework（tensorflow, pytorch, sklearn etc.）train一个model，也可以直接在同一个Notebook里面启动auto ML帮你自动调参。model training完成以后可以直接在同一个notebook里面把最满意的model用一行代码register到Databricks的MLflow里面，然后直接继续在当前的notebook里面用刚才挑选的model对某张表的数据进行batch inference。注意，这里我全程都没有离开Notebook，但是完成了各种SQL和ML的workload。然后在webapp里面进入“model”这个tab（注意，这里是我们第一次离开Notebook），可以enable model serving，这时候Databricks可以自动帮我部署model，我可以拿着Databricks生成好的model inference url去做online inference。我不确定是否有任何其他产品有这么好的体验。

想知道LZ怎么看DB的用户体验的问题呢，我其实都没用过orz上课也不用这俩。但是总能听到snow的用户体验很好，包括他们把计算和storage都放在一起定价这种模式对了解行情不多的客户很友善。我这话可能是在xjb吹但是总觉得DB貌似是数据都很nb，但是体验一般，如果这样的话是不是不太容易和snow抢市场啊

匿名者 发表于 2022-2-16 15:47
谢谢层主回复，现在根据数据调查，有很多客户在用multiple clouds，但是没有人指明原因为什么它们要用mul ...

一些对稳定性要求很高的金融公司喜欢multi-cloud,
保证某个cloud provider 有incident的时候，
还有备选

匿名者 发表于 2022-2-16 15:49
介于DB是在三大云厂商之上的，$800M ARR会被三大云厂商分掉多少，有多少是落在DB口袋里的revenue，再减去 ...

Margin估计长期能到80
卖软件是非常赚钱的
这个ARR是db自己的
和云厂商无关

我去年面db的体验也不好，但真正加入以后非常喜欢我的同事们，smart and humble，所以替我们platform org打个广告吧hhhhh

匿名者 发表于 2022-2-16 15:47
谢谢层主回复，现在根据数据调查，有很多客户在用multiple clouds，但是没有人指明原因为什么它们要用mul ...

随便说几个为什么大企业都会追求 multiple clouds：
1. 避免单个 cloud 故障带来的风险，比如 AWS 上次挂了，如果系统是架构在 mutiiple cloud 上的话可以避免。
2. 避免 lock-in, 这是更大的需求。一旦 lock in 在一个 cloud，一方面用户失去了议价能力容易被云厂商宰割，另一方面如果别的 cloud 在将来提供更新的功能、更低的成本的时候失去了迁移的机会 （迁移的成本太大）。

补充内容 (2022-02-17 10:43 +8:00):
再补充一个：
3. 合规需求。根据各地的法律不同，有些时候会要求某些数据的存储、运算不能放在公有云上，那么这个时候利用多云架构，敏感数据的存储和运算可以放在私有部署的云上， 其他系统不是在公有云上。

newgpu 发表于 2022-2-16 15:50
1. 关于拆分然后存在relational/non-relation DB里面（其实就是denormalize）：我们这里讨论的是analytic ...

谢谢楼主回复，非常清晰，清楚。
1. 这是不是data lake可以直接满足，或者Google dremel是不是就可以满足。不过我相信data lakehouse肯定是有需求的，不过不知道data lakehouse能比data lake + data lakehouse优秀多少。

2. 这个ML development process做的这么简单易用确实很难得，很厉害！不过这个易用界面单纯只用data lake + data warehouse是不是也能做到，还是必须得有data lakehouse支持。

总体上，data lakehouse同时有data lake和data warehouse的优点，data lakehouse是加分项，不是基础款，对于大多数business，易用性，是不是data lake + data warehouse就可以满足，还是必须得用data lakehouse？ 确实看到data lakehouse是趋势，几个云厂已经开始抄了，DB加油！

匿名者 发表于 2022-2-16 16:51
随便说几个为什么大企业都会追求 multiple clouds：
1. 避免单个 cloud 故障带来的风险，比如 AWS 上次 ...

1. 有Replica还会AWS挂掉，也是可以，这种情况是不是极为罕见，毕竟FB也挂过，真挂了AWS就赔钱吧？

2. 价格上，避免了被某云lock in，可是变向的不是被“支持多云的service”   lock in了？比如避开了被AWS/Azue/GCP单独lock in，不是被DB lock in了😂 不过功能性确实是，多云可以取长补短。

匿名用户 发表于 2022-02-16 17:53:11
1. 有Replica还会AWS挂掉，也是可以，这种情况是不是极为罕见，毕竟FB也挂过，真挂了AWS就赔钱吧？

2. 价格上，避免了被某云lock in，可是变向的不是被“支持多云的servic

其实挺少公司multi cloud的，小公司肯定不会弄这个，真大公司就自己搞infra了，想搞multi cloud的我们一般称之为不上不下 (比如uber :D)

小鲤yyds 发表于 2022-2-15 19:00
大致看完了，有几个问题想请教一下，作为一个平台，甲方的数据存在哪？存在你们的类似s3的服务器上还是甲方 ...

Databricks用户来快速回答一下，数据和计算都是用的你们自己的AWS账户，Databricks只是charge一个markup，比如你跑一个pipeline用的EC2 instance要$1/hr，Databricks会收你$0.1的额外费用。