谈谈Databricks和云计算

写得好用心，赞！

newgpu 发表于 2022-2-16 17:51
是的，Databricks升职速度差不多跟Google一样，挺慢的。特别是对于alpha engineer，去Facebook的升职速度 ...

感谢楼主，和 gg 一样感觉也是合理的

匿名者 发表于 2022-2-16 16:15
一个高速发展的 公司  你觉得会升职慢？

确实就是挺奇怪的，但 blind 都这么说，所以来问问

newgpu 发表于 2022-02-16 23:03:44
确实，只有data pipeline的话真的没必要上Databricks。Databricks的卖点就是同时做Analytics和ML体验都很好。

. 1point3acres当然你在Databricks里面做ETL，会免

楼主，db最近开发的delta live table， multitask job，和dbt的integration，都是为了优化data pipeline去的呀，在db上做data pipeline最大的优势就是既有spark/photon的scalability做ETL，又同时有governance和security，怎么就没卖点了😂

sesshoumarusama 发表于 2022-2-17 17:14
楼主，db最近开发的delta live table， multitask job，和dbt的integration，都是为了优化data pipeline去 ...

你说得太好了！我听了很惭愧！

感谢楼主分享，看得半懂不懂，存下来过几天再仔细看一遍。

关于“databrick sets performance record” 那个地方我有个疑问，就是databrick的query也满足ACID要求吗？它对应的虚拟的表（不知道怎么表达）也是relational的吗？从我以前的经验来看，满足ACID 和 Relational这两个要求对数据库性能是个非常大的瓶颈。谢谢。

s703 发表于 2022-02-17 20:38:45
感谢楼主分享，看得半懂不懂，存下来过几天再仔细看一遍。

关于“databrick sets performance record” 那个地方我有个疑问，就是databrick的query也满足ACI

老哥弄错了，databricks sql 和snowflake 都是数据仓库，跑的benchmark 是TPC-DS，你说的这个是OLTP数据库需要支持的，跟数据仓库不一样

s703 发表于 2022-2-17 20:38
感谢楼主分享，看得半懂不懂，存下来过几天再仔细看一遍。

关于“databrick sets performance record” 那 ...

Databricks的里面的Delta Table是满足ACID要求的。OLAP我们一般不考虑relational这个概念所以你不需要问某个Data Warehouse或者Data Lakehouse里面的表是不是relational的。

你说的“数据库”是OLTP。

匿名用户 发表于 2022-02-16 21:17:05
韭菜一枚，em各种打鸡血，带着全组干到凌晨。啥时候能ipo啊？

你是哪个组。。cluster？

打开一亩三分地居然上热帖了，LZ牛逼，CKO也没闲着来打广告