大家对Databricks的前景怎么看？

Databrick will follow Cloudera and Hortonworks. Solid products, but consulting market of open sources is shrinking and there is no chance to survive in the long term.

WorkoutMonkey 发表于 2020-5-3 09:36
非常感谢你的信息！
充分了解了Databricks在行业里的地位。

说到盈利，首先快速回顾一下他的产品。在DE/DS/ML pipeline中，无外乎logging，ETL，feature store，database，analytics 和 visualization。这些组成部分里面，都有大小竞争，比如spark对flink，spark streaming对kafka streaming等。当然这不是考虑重点，上回提到Databricks的几个核心产品都是独领风骚。竞争再激烈，最差也就是Databricks作第一，谁作第二的问题。

既如此，还有什么阻挠Databricks盈利的吗？我们提到靠licensing是没戏了，因为其核心Spark和之后的MLflow都是Apache开源。Consulting也是死路一条。这一点，在Hadoop当年的三巨头（Hontonworks，Cloudera，MapR）就是前车之鉴。如果SAAS是他出路，那也未尝不可。那问题何在呢？

其根本还是在于两点。其一，在public cloud里，三位大佬（AWS，AZure，GCP)已经占据的了核心平台；无法与其分庭抗礼。其二，三位大佬在其平台上开疆拓土，各类软件，自己的别人的，只要是合法的都在其上支持。即如此，在AWS上支持Apache Spark，从理论上来说，如果各家能克服技术障碍，就和Databricks没有任何关系了。

这里可以给一个鲜活的例子，大家都知道ElasticSearch是一个很好用的data indexing平台。AWS上面也有的支持，但是Elastic（公司）从中没有得到任何好处。确切的说，同样是ElasticSearch，AWS就是Elastic最大的竞争对手。（当然，AWS是全名公敌）。这里放两个引用：
https://aws.amazon.com/elasticse ... t-is-elasticsearch/
https://searchaws.techtarget.com ... demark-infringement

那这回AWS会不会也干这种勾当呢？必然啊。和别人分一杯羹，显然不是AWS的风格。既然有很强的团队开发实力，为什么要分享？所以我去查看了AWS Amazon EMR，对于Databricks只字不提（https://aws.amazon.com/emr/）
当然Databricks做的要比Elastic聪明一些，既然走private cloud基本是死路，那就去抱大腿吧。所以去Databricks的网站，还是能看到他在AWS之上的SAAS（https://databricks.com/product/aws-pricing）
这里的关系很微妙。但我个人没有任何内部信息，所以不敢百分百排除两方存在经济上的合作（只是这不像AWS的风格）

另一位大佬（AZure）就没有这么凶残。也没办法。人穷志短（当然夸张了一点）。和Databricks合作开店，显然也是为了能够针对共同的敌人AWS。（https://azure.microsoft.com/en-us/services/hdinsight/）。从这个网页看，技术支持是Azure和Databricks共同提供。

到底Public Cloud中的这个Public Enemy （https://www.nytimes.com/2019/12/ ... ud-competition.html） 是否能够给其他小伙伴分一杯羹，或者说Databricks能走多远，难道还是由Azure说了算？或者等待public cloud的一个拐点？

以上完全是个人的分析，很有可能片面。还望大家多多发表看法。

mine_that_bird 发表于 2020/05/02 15:35:06

首先看到你的亚麻抖包袱贴里面提到databricks，所以在那里简短的回复了一下我的看法。后来看到这个贴，就再说两句...

最近用过spark，相当耗时，MLLib 也很有局限性 ；不确定这个产品是否真的有前途。都说big data, 可大部分现实应用data 真的没有大的体现Spark 优势的地步。

看完楼主的pe帖子过来的。

databricks是一个先天非常优秀的创业公司。优秀的工程师很多，又一手控制spark开源社区。
过去两年靠互联网创业、改变传统行业而迅速崛起的独角兽，上市之后表现都不太好（虽然资本也已经割过韭菜了）。资本的信心也逐渐转移到毛利高的传统软件公司。eg：snowflake、databricks。总的来说，如果要在startup里面找潜力股，databricks绝对是佼佼者。


但领导层不算特别agressive的那种（纯主观感觉），创业公司的企业文化受创始人影响很大。再加上现在的经济形势，可能databricks 最终会成功，但并不能成为f、g当年的神话。


如果amzn的offer是aws的pe，我建议选amaz！！经济方面，即使是最优秀创业公司的纸钱，或许也不如亚马逊股票涨得快（且一定会涨）。职业发展方面，亚马逊pe非常值钱，做一段时间后楼主的选择会比现在的更多更好。

还有就是，这几年每个做技术的人或多或少都希望赶上风口—创业成功—财务自由—人生巅峰。但现在的环境不如过去几年好，不如在大厂沉淀几年看看风向。在大厂再打造几年背景和名气后回国可能会离人生巅峰近点儿，哈哈。国内不缺ai人才、算法工程师。但如果我没猜错楼主背景的话，楼主做的国内会的人不多。





补充内容 (2020-5-3 03:06):
可能和楼主方向差不多

我们可以加好友交流^_^

mine_that_bird 发表于 2020-5-3 16:23
说到盈利，首先快速回顾一下他的产品。在DE/DS/ML pipeline中，无外乎logging，ETL，feature store，data ...

感谢长篇回复！

-baidu 1point3acres你的顾虑和我的一模一样。
我当时跟他们聊天，第一个问题就是如果AWS或者Azure要自己做Spark，你们怎么办？

他们的回答是：
1. 客户不喜欢vendor lock-in. 所以这方面他们有天然优势。
2. We are the company who wrote the Spark code. 客户更相信他们的在这个领域的技术实力。
3. 更好的客户体验，support.

不懂你怎么看？

mine_that_bird 发表于 2020-5-2 15:35
首先看到你的亚麻抖包袱贴里面提到databricks，所以在那里简短的回复了一下我的看法。后来看到这个贴，就 ...

他家还有DataLake呢

我觉得这个公司挺有前景的。我以前也拿到过他家offer。可惜因为一些客观原因，没有去成。一句话就是，如果Spark是数据界主流，那么Databricks前景光明。

作为快入职的intern 跟manager聊过 疫情下databricks的状况
事实上从疫情开始db的业务是有增长的，manager的解释是因为大家都work from home了没法access公司的服务器，所以更多公司有上云的需求，也带动了db的业务
当然未来会怎样，他也很难说

redrummurder 发表于 2020-5-3 18:03
看完楼主的pe帖子过来的。

databricks是一个先天非常优秀的创业公司。优秀的工程师很多，又一手控制spark ...

感谢你中肯的建议！非常有价值！

现在是倾向于接亚麻的offer了。想再去磨练几年。
这轮面试下来，感觉自己不会的还是很多，还是需要再提高的。

至于亚麻股价吧，它已经1.2T了，能涨的空间真的不多了。疫情环境下能保住就很满足了！

PS. 发你私信了 ：)