谈谈Databricks和云计算

newgpu 发表于 2022-2-15 22:39
有道理。你自己有工程师团队维护很多东西的话，确实没必要用Databricks的managed data lakehouse，完全可 ...

只是我个人见解哈，也是和你讨论。我不觉得 SNOWFLAKE和databricks是对标产品。SNOWFLAKE主要是做reporting database的。 DATABRICKS还是主攻ML。我是觉得databricks主要是适用的客户少了点。适用性不强，对很多team来说收益不高。 DATABRICKS是技术很厉害的产品，这是毋庸置疑的。但是对小一点的公司来说数据少，usecase少做ML的收益不值得他们买DATABRICKS然后组建一个ML team。 对真的特别有ML 需求的公司来说很多都是自己做ML platform的。。。。所以适用的客户就有点少，有点曲高和寡那意思吧。当然要是说拿databricks非要当reporting database也行，但是那是性价比很低的办法，可替代性很强，而且找developer也比DATABRICKS好找多了。 个人理解啊，我也只是参与了几次POC来说的。。。只是讨论哈 非杠

谢谢楼主分享。想请问楼主对databricks内部的data science team有了解吗，能讲讲吗

楼主的科普贴讲的很好！ 感谢楼主分享干货

对于我一个data engineer方向的NG来说，真的是好文！

谢谢楼主的介绍

db面试吹毛求疵
听说db迟迟不上市的原因是占着独角兽的光环招人，最后真的好不好上市才知道
希望db好，听说中层的国人不少

谢谢分享！有一点不明希望您解释一下，为什么ML应用最好用no schema的blob store呢？您主要针对的是图形语音视频等数据说的吗？其他传统ML/Spark application也可以读schema data, Hive table，有schema support, 不会更方便吗？谢谢！

非常好的文章，谢谢楼主

newgpu 发表于 2022-02-15 21:07:30
我在毕业的时候是真的菜，都不知道Databricks。（而且就算我知道我感觉我当时的背景也进不去，因为Databricks对应届生格外挑剔。）

现在回头看，我当然希望我一毕业就能进Databri

推荐楼主跳槽去Anyscale。

对DB商业模式一点困惑，还没明白DB主要的卖点是什么。 语言如果过于武断，请谅解。希望可以交流。

1. Infra的功能角度，DB并没有提供其他云提供不了的服务。云提供服务商如GCP，提供的infra，基本和Google Ads， Youtube是一套Infra，如果连Google Ads这么复杂商业逻辑都能支持，保证reliability，availability，为什么我们还需要新的Infra，有什么功能或者性能(performance)是已有的cloud infra不能满足的。不是特别理解data lakehouse的存在，虽然很酷，是加分项，但是已有cloud Infra应该有相似的支持。ML同理。

2. Infra cost的角度，用DB后能比用AWS Azure GCP全家桶省钱。DB利用每个云的优势部件(components), 让价格达到最低。DB上写一套系统，可以同时在三个云上自由切换，防止被一个云绑定后提价。

3. Infra efficiency 角度，充分利用三个云的所长，提高efficiency，比如用Google的Spanner存结构化数据，Amazon的Dynamo存Key Value。

4. 开发者体验更友好。

综上，DB是封装在三大云服务商之上的一层抽象，主要卖点是2，3，4，对于1，三大云服务商已经能提供完整的功能，性能优化这么多年这么多人几乎达到极致。但是DB很多研发都是在1上的，比如AutoML，Data lake，可能也是为了长远布局吧，或者只有做好了1，才能有2，3，4。但是单就1，和大厂cloud相比能支持的features，应该差很远，毕竟人数差太多了。

用过databricks 确实好用。 从核心的spark就开始有那种易用性为王的基因 包括以notebook 为主要用户交互方式 让人感觉不是在做开发而是在playground做prototype

个人感觉databricks的最大卖点就是易用性，而并非所谓的高性能。 各大厂的OLAP query engine也都是多年磨炼出来的 并不觉得他家有多大technical的突破性创新。什么benchmark最没有意义 用户有成千上万种usage pattern 优化benchmark只针对特定pattern特定数据 更别提有没有什么overfitting的猫腻 动辄十倍百倍的性能提升 更多是营销手段。另一方面，真正在乎性能的是数据量极大的公司 当规模上去后还是自己manage更划算 这些公司很多连上云都不愿意。

having said that... 我还是看好db 不为别的 就为好用。db就是数据处理界的Robinhood 高玩不屑一顾，可架不住广大韭菜们对其简洁易用的热爱 毕竟吃准人性懒惰的商业模式都不会错 :P