本来懒得多说的,说多了容易掉马甲。但是有时候真是内行看外行笑嘻嘻了。
1. 这个世界上目前做inference的公司有哪几个?无非就是frontier lab + OSS model inference providers (包括类似fireworks这种只做软件层的,以及nebius这种软硬都做的)。 ..
在frontier lab处理软硬件co-design确实很独特。但是co-design每家都是针对自己模型的架构特点做的特化处理,离了这个lab要么水土不服,要么屠龙之技,很难transfer。恰恰可以行业通用的技术,反而是开源模型inference的那些技术。
做个类比就是十年前在狗子里做Borg和Meta里做Twine / Tupperware vs 开源社区做k8s。大家应用场景不一样。前者能做到更强的优化,更大的规模,但是通用性低只能在公司内部特定前提下推广;后者上限低一些,但是更通用更可扩展。今天来看,其实两边的人才完全是互相流通的,也没什么鄙视链之分。
2. 没必要神话frontier lab,尤其是对infra人才来说。
如果你是最顶尖的researcher(指能被小扎重金挖进TBD这个等级的),去frontier lab毫无疑问,因为只有这种地方才有无穷的算力供你施展。钱对这个档次的人才来说反而是次要的了。
但是对infra人才来说,去frontier lab和去最头部的AI Infra start-up倒真没太大差别。因为处理的活的挑战性差不多(都是超大规模集群下如何最大化利用每张卡)。frontier-lab可以接触到最牛逼的researcher以及各种诺奖图灵奖级别的大佬,对人脉加成是最大的。而头部AI infra start-up可以做对公司最重要的活,visibility, impact, scope和自驱感自然比在frontier-lab里做偏辅助性质的活要大很多。另外,现在这个时间点,去frontier lab股票能上涨的想象空间肯定是比去AI Infra start-up要小的。当然风险也大一些。. .и
3. 我知道的拒掉了AO offer加入Fireworks的例子就不止两个了。我甚至还听说TBD和TML这些lab想方设法地在挖fireworks的顶尖人才。甚至有小道消息说,TBD愿意直接现金匹配fireworks核心员工的纸钱期权(这些可都是5-20X以后的,几十M的纸钱包)换他们立即加入的。但是哪怕这样fireworks核心员工attrition也几乎没有。这已经足够说明fireworks的顶尖人才质量,以及员工对公司有多bullish了。 |