谈谈Databricks和云计算

mark，写的不错

newgpu 发表于 2022-2-16 15:50
1. 关于拆分然后存在relational/non-relation DB里面（其实就是denormalize）：我们这里讨论的是analytic ...

最近想在databricks上做ML 我做CV所以感觉managed mlflow在某些case上还是不够灵活

比如 1. model stage太少又无法customize 跨组QA需要更多stages
2. 如果data ETL或者model training需要customized docker 貌似ml runtime还不支持？
3. 没有dataset version tracking？data永远是大痛点
4. different training / serving model format 比如train tensorflow但是想register / serve tflite需要自己写一堆wrapper

不过不得不说managed service对小公司来说确实省事很多，在aws上搭了一个mlflow server还是想试databricks 自己瞎弄auth, data governance这些破事真怕以后大爆炸

另外赞一下开源

韭菜一枚，em各种打鸡血，带着全组干到凌晨。啥时候能ipo啊？

fatfatjoey 发表于 2022-2-16 18:14
Databricks用户来快速回答一下，数据和计算都是用的你们自己的AWS账户，Databricks只是charge一个markup ...

感谢！为作为员工都不知道原来是这样收费的。难怪公司里在说“all-in-our-account”可以赚更多钱。最近的Serverless SQL endpoint就是在Databricks account里面的compute服务。

匿名者 发表于 2022-2-16 21:17
韭菜一枚，em各种打鸡血，带着全组干到凌晨。啥时候能ipo啊？

什么组啊能透露一下吗，怎么会这么惨啊，我们组WLB好得不行啊

忘记密码 发表于 2022-2-16 21:12
最近想在databricks上做ML 我做CV所以感觉managed mlflow在某些case上还是不够灵活

比如 1. model sta ...

1. model stage太少又无法customize 跨组QA需要更多stages
似乎他们正在解决这个问题，不止一个客户反馈了

2. 如果data ETL或者model training需要customized docker 貌似ml runtime还不支持？
你能具体说说“customized docker”是啥吗？你是说普通的以library形式存在的库满足不了你的training需求？我也很好奇他们是否支持这个。

3. 没有dataset version tracking？data永远是大痛点
Delta Table不是有version tracking吗？还是你想要其他东西？我可能理解得不对。

4. different training / serving model format 比如train tensorflow但是想register / serve tflite需要自己写一堆wrapper
我说得可能不对，但是似乎tensorflow model可以直接存成mlflow的格式？https://mlflow.org/docs/0.4.1/python_api/mlflow.tensorflow.html

sesshoumarusama 发表于 2022-02-16 14:08:06
楼主写的真好，甚至想借楼给我们solutions architect组打个广告哈哈，今年估计也得扩招一倍以上了

请问databricks 的SA职位tc range大概是多少？网上好像dp比较少

newgpu 发表于 2022-2-16 21:25
感谢！为作为员工都不知道原来是这样收费的。难怪公司里在说“all-in-our-account”可以赚更多钱。最近的 ...

嗯嗯，我猜可能是因为 “all-in-our-account” 可以更好的隐藏成本，利润更高，也更好推广了。

现在的这种收费模式比较难prove value，比如我们主要使用场景就是一大堆data pipeline，以前直接在AWS上也可以架cluster跑Spark，换到Databricks只是更方便了一点，要不是因为mlflow之类的服务免费送，我们也有ML的需求，我当时也很难说服上面做这个migration。

newgpu 发表于 2022-2-16 21:34
1. model stage太少又无法customize 跨组QA需要更多stages
似乎他们正在解决这个问题，不止一个客户反馈 ...

-- 你能具体说说“customized docker”是啥吗？你是说普通的以library形式存在的库满足不了你的training需求？我也很好奇他们是否支持这个。
不是很确定library是否支持（我是新用户哈）。因为我们有自己的docker在ECS上处理数据，所以希望可以直接用。另外一些环境需要custom c library，某个version的ffmpeg这些乱七八糟的东西似乎不太好弄。不同team不同project可能需要run的环境也不太一样。

-- Delta Table不是有version tracking吗？还是你想要其他东西？我可能理解得不对。
最初想的是在mlflow里可以有track，visualization这些东西 不过本来的设计思路好像是把data和model experiment分开 我去要个demo看看👍

-- 我说得可能不对，但是似乎tensorflow model可以直接存成mlflow的格式？
tensorflow可以但是tflite要自己弄pyfunc再log model这些 就是稍微麻烦点不是大问题

感谢回复！

fatfatjoey 发表于 2022-2-16 21:58
嗯嗯，我猜可能是因为 “all-in-our-account” 可以更好的隐藏成本，利润更高，也更好推广了。

现在的 ...

确实，只有data pipeline的话真的没必要上Databricks。Databricks的卖点就是同时做Analytics和ML体验都很好。

当然你在Databricks里面做ETL，会免费得到unity catelog功能之类的，对于有需要的人来说还是很有用。