下周snowflake上市，想听听大佬们对于snowflake的见解

公司 aws vendor是 snowflake，之前用的是teradata, 给人感觉是上手成本低，迁移code什么的难度小，而且比较少死机，接口丰富。

问个小问题，为什么spark读取非结构化数据那么慢。比如我有一个非常nested schema的object存在s3上，用spark去跑一个带filter的sql非常非常慢，有大神能指点下是为什么？是我的用法有问题还是spark本来就慢？

fufulaijiayou 发表于 2020-9-15 01:46
曾经实习公司 从redshift 转移到snowflake 唯一的体验就是 query速度快了好几倍 以前要等十几分钟能缩短到 ...

请问有比较过在同样数据集下spark vs snowflake的性能么

我用spark query一个nested schame需要20+min....听说snowflake在同样的数据上做query只要2min？

kingxueyuf 发表于 2020-9-17 03:15
请问有比较过在同样数据集下spark vs snowflake的性能么

我用spark query一个nested schame需要20+min ...

可能要看你的自己的db有没有优化， snowflake应该是已经帮你优化好了，如果是自己的db用spark query要考虑有没有在filter condition上做partition 之类的，要考虑的比较多。如你所说nested schema更要考虑有没有在nested schema内部对数据进行partition

rollothomasi 发表于 2020-9-15 08:39
再多说几句，Snowflake切中的是SDE们觉得不太会下功夫的地方，服务服务，即让某些技术打包变得傻瓜化，来喂 ...

挺你这么说,感觉Snowflake有点像 API服务端的Firebase... (小而快的中小企业/用户,追求速度,不追求对数据的绝对ownership).

zzzlll404 发表于 2020-9-17 03:43
可能要看你的自己的db有没有优化， snowflake应该是已经帮你优化好了，如果是自己的db用spark query要考 ...

“如你所说nested schema更要考虑有没有在nested schema内部对数据进行partition”
我不太理解这句话，我们通常是读一连串的parquet file比如

1. spark.read.option("mergeSchema", "true").option("charset", "utf-8").parquet(*file_paths)

复制代码

，数据的每一列都是nested column，我们通常的操作是flatten整个schame，每个nested schema里每个leaf key作为一个column， 比如
|    col x                |            |    col x_a_b    |  col x_a_c  |
| { a: {b : 1, c:1} } |    ----> |    1               |    1            |

以前和朋友聊过。AWS的人说snowflake的服务价格居然比AWS提供的还要便宜，要知道存储层用的是AWS的服务。所以我周边几个人猜测有可能snowflake在赔本赚吆喝，这在商业推广也是常见套路。就是对于这种模式的长期盈利持有强烈怀疑态度，除非snowflake用户服务能做的特别好

有个困惑，按照国内互联网的发展速度，应该也有类似 Snowflake 的企业，但目前没有看到

或者说是阿里云/腾讯云之类做的太好了，完全不需要这种东西？

bryanofphy 发表于 2020-9-17 08:12
以前和朋友聊过。AWS的人说snowflake的服务价格居然比AWS提供的还要便宜，要知道存储层用的是AWS的服务。所 ...

虽然但是，snowflake的内部存储格式是proprietary的，一旦用上了以后要迁移出去应该很难，不能直接迁移文件，得读取出来再insert到其他地方。这赔本赚吆喝的套路很深的样子。。。

前面很多人在说snowflake可以避免cloud vendor lock-in，这下好了，不被AWS/Azure锁住，倒是被snowflake锁住了。