大家对Databricks的前景怎么看？

cszhazha 发表于 2020/04/28 14:18:48
小白好奇 databricks究竟靠什么盈利呢

赚contract钱，还有consulting的费用。他们家contract不便宜😄

WorkoutMonkey 发表于 2020/04/28 23:54:25
是担心投资人单一，导致的估值水分高吗？

我觉得对照elastic, mongodb 这些已经上市的公司的市值，Snowflake 12B的估值，db 6B的估值还是相对合理的，毕竟增长速度摆在那。
但也有可能整个行业的估值水分都偏高。

我只是觉得你有更多的投资人的话，你获得被资本向上推的力量就越大，尤其是DB面对的客户都是企业。

WorkoutMonkey 发表于 2020/04/28 23:56:23
好像你是DS？

你觉得Databricks在DS / DA行业里口碑怎样？
还有最近疫情影响，听说很多公司都缩减...

你是ds岗？我默认你是sde，如果我搞错了先道个歉。ds看具体是做什么的ds，如果是开发相关的应该还好，如果是纯分析或者纯模型，又不是core，可能是不太稳定。这个你做判断应该比我的判断更准确

simply140 发表于 2020-4-29 01:09
你是ds岗？我默认你是sde，如果我搞错了先道个歉。ds看具体是做什么的ds，如果是开发相关的应该还好，如果 ...

我是SDE。所以不是很了解Databricks受众对它怎么看。
我的担忧是如果最近DS部门都缩招了，作为DS的工具，他们的利润增长肯定也会受影响啊。就是不知道有多严重。

WorkoutMonkey 发表于 2020/04/29 01:49:04
我是SDE。所以不是很了解Databricks受众对它怎么看。
我的担忧是如果最近DS部门都缩招了，作为DS的工具，他...

可能看ds具体的职能？如果ds不从事开发的话，我觉得确实属于奢侈品，危机来临的时候会先受影响。SDE还是很好的

WorkoutMonkey 发表于 2020-4-28 23:56
好像你是DS？

你觉得Databricks在DS / DA行业里口碑怎样？

首先看到你的亚麻抖包袱贴里面提到databricks，所以在那里简短的回复了一下我的看法。后来看到这个贴，就再说两句。
databricks的产品在data engineering这个圈子里面那是没话说。绝对的龙头老大。他家的核心产品当然莫过于Spark。Spark从2012开始展露头脚，当时还是hadoop mapreduce如日中天的时候。当然，了解functional programming的明眼人（包括在下），都能够看出来map reduce的API设计简直天理难容。客户在实现ETL pipeline的时候，要考虑很多与业务逻辑无关的部分，而这些部分都是因为hadoop map 和 reduce 函数设计不合理（thank you， Jeff Dean）所造成的。 在这个过程中，实现Hadooop也是一件非常耗时的事情。需要有senior的SDE来设计合理的抽象包装。在这个过程中工业界也出现了很多这类包装。当然现在也都销声匿迹。原因当然就是Spark的出现，把DS和DE完全从垃圾框架中解脱出来。因为Spark的RDD中，对API的设计和对函数封装，非常的简洁。这也是为什么这么多年Spark RDD的api 只有微小的改变。

Spark RDD用来处理JSON或其他非structured数据，那是一流。但是后来data lake里各种格式的数据都出现。当然传统的Row Column格式也就必不可少。起初是Hive一通天下。Hive就是在Hadoop MapReduce上面套了一个SQL engine。SQL迄今为止仍然是DS的宝贝儿。那为什么Hive也基本被人遗忘了呢？原因就是Hive还是基于传统的SQL引擎的方法，要现有数据，我在给你SQL处理数据。而Spark dataframe和spark SQL的出现，改变了这个现状，因为我们可以在一个程序里面，既有RDD来处理脏乱数据，接下来，在用Spark SQL来处理Table数据。也正是因为RDD 和 spark dataframe的这个无缝连接，掀起了DS在编程上的革命。

除了API本身的设计之外，他在后台的实现也非常花心思。尤其是在SQL query optimization engine之上。不过这个今天就不多题了，否则是完全跑题了。而且显的我像是在推销databricks的产品。

说完Spark发家致富的核心产品，也简短聊一下他家没有那么风光的产品。比如spark graph，spark streaming。都没有做到独领风骚。

在机器学习领域，他家的MLlib也同样也是不温不火。话不多说，总之ML platform是一个很复杂的领域。现在也有很多家公司在作开源产品。甚至比Spark做的成熟。
总之Spark在ETL绝对无人和他分庭抗礼。但是数据领域，包括的东西太多，前端有logging， 后端有各种database 或者nosql，再加之ML platform；而Spark是其中的一个无可或缺的组成部分。而且必定能够继续垄断市场。

至于将来公司盈利如何，这个非常难说。产品作的好，大家未必愿意付钱买license。单纯靠consulting来盈利的方式，不是长久之计。最终也还还要看到公司是否能够在产品功能和营销手段上面找到好的结合。

mine_that_bird 发表于 2020-5-2 15:35
首先看到你的亚麻抖包袱贴里面提到databricks，所以在那里简短的回复了一下我的看法。后来看到这个贴，就 ...

非常感谢你的信息！
充分了解了Databricks在行业里的地位。

Databricks的盈利方式据我了解，主要靠SaaS的subscriptioin fee。好像稍微跟license有点不一样？
我的理解是有很多中小公司想用Spark，但是他们没有这个技术实力或者时间精力去自己部署一套Spark。所以他们就去找Databricks买SaaS服务，付subscription fee.
我的理解正确吗？

你对它的顾虑主要是什么呢？介意展开讲讲吗？
感谢！

gravenguan 发表于 2020-5-3 10:05
databrick不是ds工具或者说主业不是给ds的，主要是给de做大数据etl，这是应用最多的

感谢！我对big data这块确实没什么了解。
DE这块受疫情冲击大吗？