谈谈Databricks和云计算

lz cko笔记做的挺全啊

newgpu 发表于 2022-2-16 01:12
功能有差距但是感觉都能用?
这个我没做过调研，我真不知道到底功能差距多大，到底是不是都能用。

是的就SQL query来说，拿GCP举例，Bigquery 已经非常快，一般开通GCP的服务都附带这个。

写的很好，看得出楼主很有心，对DW技术栈还是很有研究的。

databricks在技术上是有新意和发展前景的，但从营收和市场角度我并不是那么看好。

先说技术问题，spark因为解决了MR和compute in memory问题并且能调动云或分布式计算能力所以在性能上确实比较牛，这块比其他几个分布式计算方案要好，但这块也没好到1个数量级地步，所以snowflake，redshift，odps也在和他竞争，这块就慢慢变到其他领域了，很多人用snowflake是因为它的界面和使用比较方便，另外支持多个云，数据迁移比较方便。如果一个新技术或产品不能和竞品拉开一个数量级差异会陷落到易用性和市场份额之争，这会一个很痛苦的过程。举一个历史上的例子，大家知道DW市场早前年间是在IBM DB2，oracle，SQL server，MPP（没分布式OLAP出来前）竞争，teladata出来后大家发现TB级别的OLAP计算基本上只能选它了，所以有段时间TD牛的不得了，IBM和oracle一开始是有些懵的，后来转MPP和分布式计算赢回来，但TD在很多大企业中的部署已经很广了，市场的占有率已经有了。但很快它就慢慢没落了，原因就是databrick，MR，redshift等后起之秀把他干趴下了，技术更新，成本更低。

databrick等企业解决了DW在技术技术栈方面问题，但很不幸，OLAP不像OLTP，整个链条太长了，公司关注的是data analysis的分析结果，这块除了databrick贡献技术栈外，还需要data engineer，data scientist，marketing analysis等工序，特别是data modeling和分析的指标对公司决策层是很有用的，所以很多公司养了很多data engineer做这些事情，很不幸好的工程师不太多，好的工程师往往是技术和市场都懂得人，这种人非常难找和培养。说一个经历过2008年金融危机的人知道的事情。那年有一些对冲基金赚了很多钱，赚的最多的是Paulson & Co.，John Paulson能发现这个机会是因为他的同学Paolo Pellegrini，这个老兄是个分析师，按现在说法是个data scientist（那时候没有data scientist和），他分析了所有数据汇总了一张图说服了老板做空，而且告诉老板应该做空CDS和MBS，这样赚钱才能多，而其他几个对冲基金没有他们这么激进，所以只有4-10倍的收益，Paolo Pellegrini靠那年赚了200亿。
说一下为何不看好，因为DW是一个蛮古老的行业，这块竞争对手太多，大家的技术性能或使用上差异不是那么大，这块databrick或snowflake无法解决，snowflake一直在用拼多多的方式做快速扩张，利用营收不停投入做新用户扩张，这样是不能赚钱的。这反而把很多公司拖入拼现金流的泥潭，你看看cloudera，AWS redshift，Azure的分析性SQL的营收就知道了。

这方面我反而看好Palantir，因为他是带行业data model的，能帮助政府和企业解决具体技术问题，不仅仅在技术栈方面。当然他好像活的也不太好，也许跨行业太难了。

Are you in the run-time team?

地里应该多一些这样的tech blog， 而不是公司A看不起吐槽公司B的氛围，结合昨天看某帖子里面的评论“XX，狗都不去”， 这个帖子真的是清流了。

mark yi xia

打不过御三家啊。

匿名者 发表于 2022-2-16 00:39
谢谢分享！有一点不明希望您解释一下，为什么ML应用最好用no schema的blob store呢？您主要针对的是图形语 ...

特别好的问题！我在原文的最后加了补充，希望有帮助

liang3164 发表于 2022-02-15 19:21:03
可以存在S3或者azure storage account里面，要persist在Databricks里面的话也可以的，比如在notebook里直接%sql Create table xxx，这里应该

不是，目前公司没有自己的存储服务。都是存在cloud storage, customer account

2ndcat 发表于 2022-02-15 20:30:18
以前公司用过是很好用，但是想问一下楼主，很多公司最后发现从Databricks 换成三大cloud的附属产品了，虽然没有databricks 好用，但是因为是捆绑在GCP/AWS/Azure一并销售便

优势在于，超过一半的用户，都是multi cloud。而且没有一个云厂商愿意，或者能够做好multi cloud