大家对Databricks的前景怎么看？

最近拿到了Databricks的offer，在犹豫要不要接。在地里搜了下，相关的信息还是很少的。
本人对Big data行业研究不深，也没什么朋友在Data Science方向工作。

不懂地里有没有在Databricks的，或者对它比较了解的同学？
能不能分享点你们对其前景的看法呢？

到目前为止，砖厂看起来一切都很美好。
ARR年增长率>200%，margin很高，老客户留存也很好。各方面指标无可挑剔。我都觉得too good to be true了。。

有没有懂行的大佬来分析下，它未来的上下限在哪里呢？
能成为下一个Zoom，Workday，甚至Salesforce吗？
还是其实是泡沫？

请各位朋友不吝赐教！谢谢！

WorkoutMonkey 发表于 2020-4-28 23:56
好像你是DS？

你觉得Databricks在DS / DA行业里口碑怎样？

首先看到你的亚麻抖包袱贴里面提到databricks，所以在那里简短的回复了一下我的看法。后来看到这个贴，就再说两句。
databricks的产品在data engineering这个圈子里面那是没话说。绝对的龙头老大。他家的核心产品当然莫过于Spark。Spark从2012开始展露头脚，当时还是hadoop mapreduce如日中天的时候。当然，了解functional programming的明眼人（包括在下），都能够看出来map reduce的API设计简直天理难容。客户在实现ETL pipeline的时候，要考虑很多与业务逻辑无关的部分，而这些部分都是因为hadoop map 和 reduce 函数设计不合理（thank you， Jeff Dean）所造成的。 在这个过程中，实现Hadooop也是一件非常耗时的事情。需要有senior的SDE来设计合理的抽象包装。在这个过程中工业界也出现了很多这类包装。当然现在也都销声匿迹。原因当然就是Spark的出现，把DS和DE完全从垃圾框架中解脱出来。因为Spark的RDD中，对API的设计和对函数封装，非常的简洁。这也是为什么这么多年Spark RDD的api 只有微小的改变。

Spark RDD用来处理JSON或其他非structured数据，那是一流。但是后来data lake里各种格式的数据都出现。当然传统的Row Column格式也就必不可少。起初是Hive一通天下。Hive就是在Hadoop MapReduce上面套了一个SQL engine。SQL迄今为止仍然是DS的宝贝儿。那为什么Hive也基本被人遗忘了呢？原因就是Hive还是基于传统的SQL引擎的方法，要现有数据，我在给你SQL处理数据。而Spark dataframe和spark SQL的出现，改变了这个现状，因为我们可以在一个程序里面，既有RDD来处理脏乱数据，接下来，在用Spark SQL来处理Table数据。也正是因为RDD 和 spark dataframe的这个无缝连接，掀起了DS在编程上的革命。

除了API本身的设计之外，他在后台的实现也非常花心思。尤其是在SQL query optimization engine之上。不过这个今天就不多题了，否则是完全跑题了。而且显的我像是在推销databricks的产品。

说完Spark发家致富的核心产品，也简短聊一下他家没有那么风光的产品。比如spark graph，spark streaming。都没有做到独领风骚。

在机器学习领域，他家的MLlib也同样也是不温不火。话不多说，总之ML platform是一个很复杂的领域。现在也有很多家公司在作开源产品。甚至比Spark做的成熟。
总之Spark在ETL绝对无人和他分庭抗礼。但是数据领域，包括的东西太多，前端有logging， 后端有各种database 或者nosql，再加之ML platform；而Spark是其中的一个无可或缺的组成部分。而且必定能够继续垄断市场。

至于将来公司盈利如何，这个非常难说。产品作的好，大家未必愿意付钱买license。单纯靠consulting来盈利的方式，不是长久之计。最终也还还要看到公司是否能够在产品功能和营销手段上面找到好的结合。

WorkoutMonkey 发表于 2020-5-3 09:36
非常感谢你的信息！
充分了解了Databricks在行业里的地位。

说到盈利，首先快速回顾一下他的产品。在DE/DS/ML pipeline中，无外乎logging，ETL，feature store，database，analytics 和 visualization。这些组成部分里面，都有大小竞争，比如spark对flink，spark streaming对kafka streaming等。当然这不是考虑重点，上回提到Databricks的几个核心产品都是独领风骚。竞争再激烈，最差也就是Databricks作第一，谁作第二的问题。

既如此，还有什么阻挠Databricks盈利的吗？我们提到靠licensing是没戏了，因为其核心Spark和之后的MLflow都是Apache开源。Consulting也是死路一条。这一点，在Hadoop当年的三巨头（Hontonworks，Cloudera，MapR）就是前车之鉴。如果SAAS是他出路，那也未尝不可。那问题何在呢？

其根本还是在于两点。其一，在public cloud里，三位大佬（AWS，AZure，GCP)已经占据的了核心平台；无法与其分庭抗礼。其二，三位大佬在其平台上开疆拓土，各类软件，自己的别人的，只要是合法的都在其上支持。即如此，在AWS上支持Apache Spark，从理论上来说，如果各家能克服技术障碍，就和Databricks没有任何关系了。

这里可以给一个鲜活的例子，大家都知道ElasticSearch是一个很好用的data indexing平台。AWS上面也有的支持，但是Elastic（公司）从中没有得到任何好处。确切的说，同样是ElasticSearch，AWS就是Elastic最大的竞争对手。（当然，AWS是全名公敌）。这里放两个引用：
https://aws.amazon.com/elasticse ... t-is-elasticsearch/
https://searchaws.techtarget.com ... demark-infringement

那这回AWS会不会也干这种勾当呢？必然啊。和别人分一杯羹，显然不是AWS的风格。既然有很强的团队开发实力，为什么要分享？所以我去查看了AWS Amazon EMR，对于Databricks只字不提（https://aws.amazon.com/emr/）
当然Databricks做的要比Elastic聪明一些，既然走private cloud基本是死路，那就去抱大腿吧。所以去Databricks的网站，还是能看到他在AWS之上的SAAS（https://databricks.com/product/aws-pricing）
这里的关系很微妙。但我个人没有任何内部信息，所以不敢百分百排除两方存在经济上的合作（只是这不像AWS的风格）

另一位大佬（AZure）就没有这么凶残。也没办法。人穷志短（当然夸张了一点）。和Databricks合作开店，显然也是为了能够针对共同的敌人AWS。（https://azure.microsoft.com/en-us/services/hdinsight/）。从这个网页看，技术支持是Azure和Databricks共同提供。

到底Public Cloud中的这个Public Enemy （https://www.nytimes.com/2019/12/ ... ud-competition.html） 是否能够给其他小伙伴分一杯羹，或者说Databricks能走多远，难道还是由Azure说了算？或者等待public cloud的一个拐点？

以上完全是个人的分析，很有可能片面。还望大家多多发表看法。

看完楼主的pe帖子过来的。

databricks是一个先天非常优秀的创业公司。优秀的工程师很多，又一手控制spark开源社区。
. Χ过去两年靠互联网创业、改变传统行业而迅速崛起的独角兽，上市之后表现都不太好（虽然资本也已经割过韭菜了）。资本的信心也逐渐转移到毛利高的传统软件公司。eg：snowflake、databricks。总的来说，如果要在startup里面找潜力股，databricks绝对是佼佼者。


但领导层不算特别agressive的那种（纯主观感觉），创业公司的企业文化受创始人影响很大。再加上现在的经济形势，可能databricks 最终会成功，但并不能成为f、g当年的神话。


如果amzn的offer是aws的pe，我建议选amaz！！经济方面，即使是最优秀创业公司的纸钱，或许也不如亚马逊股票涨得快（且一定会涨）。职业发展方面，亚马逊pe非常值钱，做一段时间后楼主的选择会比现在的更多更好。

还有就是，这几年每个做技术的人或多或少都希望赶上风口—创业成功—财务自由—人生巅峰。但现在的环境不如过去几年好，不如在大厂沉淀几年看看风向。在大厂再打造几年背景和名气后回国可能会离人生巅峰近点儿，哈哈。国内不缺ai人才、算法工程师。但如果我没猜错楼主背景的话，楼主做的国内会的人不多。





补充内容 (2020-5-3 03:06):
可能和楼主方向差不多

我们可以加好友交流^_^

感觉是个机会

Databricks 比同时期的Workday, Salesforce 的发展速度还要快，四年内成为一个市值30B (Zoom, Workday)的公司的可能性还是蛮大的。
十年内成为140B (Salesforce)的公司也不是不可能。

我对Databricks有一个concern就是六轮融资的领投都是Andreessen Horowitz或者New Enterprise Associates。我觉得股东更加多样化的话可能会更稳健些。

小白好奇 databricks究竟靠什么盈利呢

看你对ucb那帮人的信心了。反正搞学术是真的牛。

楼主是platform team的offer吗

感觉db很强。要是我我应该回去哈哈。理由是商业模式很稳，又是做大数据平台的，而且同事应该也很聪明。

autumnhu 发表于 2020-4-28 14:07
Databricks 比同时期的Workday, Salesforce 的发展速度还要快，四年内成为一个市值30B (Zoom, Workday)的公 ...

是担心投资人单一，导致的估值水分高吗？

伊萨卡的布丁 发表于 2020-4-28 14:55
楼主是platform team的offer吗

是。做的项目还挺有趣的其实。

simply140 发表于 2020-4-28 20:41
感觉db很强。要是我我应该回去哈哈。理由是商业模式很稳，又是做大数据平台的，而且同事应该也很聪明。

好像你是DS？

你觉得Databricks在DS / DA行业里口碑怎样？
还有最近疫情影响，听说很多公司都缩减DS部门了。这对Databricks的需求是不是有很大影响啊？

多谢