聊聊Anyscale

这在中关村算很古老的点子了。。。。。。

恭喜大牛! Anyscale这套我自己没用过, 至于你说的,"Ray是个通用型框架，比spark这些都更底层，客户只要用一个框架就搞定全部的分布式计算需求". 按我的理解, 这个end2end的还是很复杂, 而且要和公司的business logic深度对接, 不知道Ray能不能做到这么通用?

就我个人简单接触过的ML stack, 包括且不限于,
* raw data 存储 (log4j/HDFS)
* feature transformation (spark/beam)
* data joiner (kafka streaming)
* joined data 存储 (HDFS)
* training (yarn+tensorflow/pytorch)
* 训练时的体系架构, 比如计算资源CPU/GPU, 参数服务器...
* 模型存储/上下线/predict. (hdfs/k8s/tfx)
* 模型在business logic的各种调试\监控.

这些只是我见到一些方式,肯定还有很多别的stack. 用cloud的全家桶的benefit我觉得远大于cloud lock-in的风险. FANG估计能自己inhouse搞一套, 但其他的公司我觉得上云真是省力.  开源世界东西各有千秋, 如果能一统江湖那就太厉害了! (当然是技术上的, 商业化还是得再看).

匿名者 发表于 2021-6-3 23:25
从投资角度来说降薪六成干startup完全是赌博，这个按照五年来算，就是五年一半以上收入投资了一家早期公司 ...

也得愿意让你投, 作为个人投资者很难投到优质的早期公司把. 我记得 anyscale 的 b 轮是 oversubscribed.

关于这家公司我也聊过一些，idea，技术，以及氛围都很好，但是商业前景确实很不明了。Ray的应用层面应该是他家的核心，但是整个故事严重依赖底层的资源调度。要么自己搞，要么投靠aws azure gcp。 很同意前面一层楼说的，被大云厂商收购也许是最现实的出路。

有a16z无条件支票支持，是好事也是坏事。坏事是这个公司不会断粮，没有上市压力。如果7/8年不上市，机会成本就很大了。我认为anyscale想成功最重要的是要找到像Ali Ghodsi
那样执行力强，商业嗅觉灵敏的CEO。

blueski 发表于 2021-6-4 02:47
恭喜大牛! Anyscale这套我自己没用过, 至于你说的,"Ray是个通用型框架，比spark这些都更底层，客户只要用一 ...

感谢分享！

不好意思我的原帖表述可能不准确。做到e2e ML coverage确实很困难，比如raw data / feature store这些步骤跟Ray没什么关系，Anyscale也不可能靠一己之力一统天下。目前的策略是营造生态，比如最近宣布的airflow/horovod整合，以及针对ML框架的wrapper (e.g. Pytorch)。

.google  и跟Business logic对接的问题可能不是太难，简单说来就是在Ray的架构上定义end point让上下游来调用，跟一般Python没太大区别。不对的话请指教。

Cloud全家桶也确实很省心。不过一个有趣的现象是以GCP为例，很多客户并不是直接用全托管的model training service，而是自己在GKE上搞，因为可以有更灵活的控制而且更便宜。从这个角度来看，Ray其实能帮这些客户用GKE打造一个更定制化的managed service。当然这跟Anyscale没啥关系，因为钱还是进了GCP的账号。从这个角度上我觉得Anyscale的竞争对手可能是各大cloud。

匿名者 发表于 2021-6-3 11:35
用Ray写出来的代码，Ray底层做的就是把任务并行化，然后按照调度云上的计算资源，但是缺少cloud provider i ...

Ray/Anyscale还是支持cluster层面的优化的。但你说的没错，Anyscale自己不搭机房，肯定没办法搞硬件层面的优化。这点我不是很清楚，到底是个98%到99%的性能差异还是70%到90%的差异。

a0106660 发表于 2021-6-3 15:00
谢谢楼主分享, 周围有人去Anyscale, 感觉他挺激情澎湃的, 挺看好anyscale的. 好奇B轮start up 对员工的期权 ...

是的，按百分比给的。

有一说一，Berkeley的lab很善于搞这种，推个架构，弄个Opensouce，发个paper，然后就出来搞一波。前有Databricks，现在是anyscale，大概都是一波人，至少源头Prof都是那一帮。从技术角度，应该是solid & deep的。商业化的话，只能呵呵了。看看现在热门的类似pre-IPO的公司，confluent，databricks，盈利能力一般，并且cloud那边还有一堆大厂虎视眈眈，能抄就抄。看看曾经大热的Cloudera被私有化，就可见一斑了。
所以年轻人可以尝试，以免以后总惦记，心里痒痒，大不了交学费学技术，而且万一财务自由了呢。最新“飞总了IT”有篇类似的文章讲Confluent IPO，也是这个意思：风口上，啥都能飞。趁着这股劲，也飞一把，省了一辈子爬地上，老了后悔。

谢谢科普…最近突然Ray就到处涌现的感觉

我最近在做一些Ray相关的事情，因为我个人背景非常偏向云原生，一切infra导向都是Kubernetes思维. 在同事强推ray之后也做了一些调研，感觉还是有很多问题，最大的感觉就是
1. ray的侵入型太强，需要在用户端改变习惯，每个框架需要跟ray做适配，虽然很多工作是ray这边社区做掉了，比如sgd，rayDP, 但是质量一言难尽，之前调一个spark应用因为版本问题弄了半天，而且从infra运维人员来说还要学习ray的东西
2. 像object store这种概念，其实也有一些不能说完全的代替品，概念类似，这里production化最大的blocker在于资源难遇管理，多少memory给计算，多少给storage，不落盘带来的收益相比于运维成本怎么样，弄的感觉比较复杂。可以说ray的部署模型，非常不适合目前主流的云编排系统. Spark就好很多，可以直接对接在resource manager上，并不需要类似raylet这样的组件来管理复杂的状态.

我感觉传统业务ray是不太合适，这么多年积累，ML，big data stack都比较稳定了，ray最好的用例就是一些动态，需要反应快的场景，像online learning，graph等