大家对Databricks的前景怎么看？

WorkoutMonkey 发表于 2020-5-3 22:48
感谢长篇回复！

你的顾虑和我的一模一样。

关于他们提到的“客户为了避免vendor lockin，所以选择databricks”， 我觉得不是很能站的住脚。要作产品，就不可能避免vendor lockin。况且AWS不会把Spark改的面目全非来让用户使用的。再者，如果从另外一个角度分析，其实AWS给用户跟多的选择，比如在ETL方面，就可以选择Flink，而非Spark。况且，数据pipeline一担放到public cloud上面，就基本上和AWS或是Azure绑死了。
.1point3acres
至于提到的Databricks的另外两个优势（Spark的创造者，还有更好的用户体验），这个我不好说。比如A用户一天需要上传和处理100TB的数据，B用户则是一天100GB的数据。他们需要使用public cloud来作Data platform和ETL系统。一个是AWS帮你建造，一个是Databricks在AWS或是Azure上建，你觉得哪个技术能力更强？

mine_that_bird 发表于 2020-5-4 15:01
关于他们提到的“客户为了避免vendor lockin，所以选择databricks”， 我觉得不是很能站的住脚。要作产品 ...

嗯。你说的很有道理。我基本跟你持相同看法。多谢你的分享了！

从使用者的角度说吧，目前我们公司的ML data pipeline是kafka+flink+s3，数据最终以parquet的格式写入s3 sink；下游每个ML业务再从s3用spark去读取parquet做ML模型的训练；这句话非常重要：”每个ML业务再从s3用spark去读取parquet做ML模型的训练”，换句话说spark在我们公司（头部SaaS公司）的使用主要集中于从s3读数据，我们并没有用spark做streaming platform etc；

另外我主要做ML 模型，每天都要用spark，我个人非常不喜欢spark，主要原因是spark基于column的存储和我的需求背道而驰，我需要的是按条件filter row然后读取整行数据（而非只要部分列），spark在这方面速度很慢，如果这是由于数据集体量较大还可以理解（TB level）；然而根据实验我们发现spark在读取小数据集（GB level）上的也比较慢；我本人很不理解column based的存储模式，因为随着业务的发展，数据量的增大，Deep learning模型越来越多，而这种data eager的模型很吃数据量，最好的方式就是把尽可能多的特征喂进模型，所以我们往往需要的是整行数据而非部分列数据

redrummurder 发表于 2020/05/03 18:03:28
看完楼主的pe帖子过来的。

databricks是一个先天非常优秀的创业公司。优秀的工程师很多，又一手控制spark开...

谢谢层主的留言感觉非常有收获。希望也可以加一下好友多多请教。感谢

kingxueyuf 发表于 2020/05/11 13:15:37
从使用者的角度说吧，目前我们公司的ML data pipeline是kafka+flink+s3，数据最终以parque...

你转一下row Based不就行了

gravenguan 发表于 2020/05/03 10:08:47
我之前是aws的，我觉得小客户要用spark可以直接用emr，还更灵活一些，databrick相对emr还是偏贵，用ze...

确实如此，用emr notebook或者直接用IDE

gravenguan 发表于 2020/05/03 10:05:57
databrick不是ds工具或者说主业不是给ds的，主要是给de做大数据etl，这是应用最多的

同意，是做pipeline的

kingxueyuf 发表于 2020/05/11 13:15:37
从使用者的角度说吧，目前我们公司的ML data pipeline是kafka+flink+s3，数据最终以parque...

既然你是存s3的，用flink的意义在哪里？

kingxueyuf 发表于 2020/05/11 13:15:37
从使用者的角度说吧，目前我们公司的ML data pipeline是kafka+flink+s3，数据最终以parque...

这个我好奇了，Vertica也是column based的，但读取速度快得一AC，按你这么说，一旦到了parquet这种格式column based就不好用，感觉是spark的column based设计跟parquet不compatible？非DE，也许问了dumb question