分享我加入Fireworks AI的一些思考

看到地里最近有不少关于Fireworks AI的讨论，分享一下我加入之前的一些研究和思考，希望对大家有帮助。
个人背景：大厂工作十几年，走之前是senior manager，25年去一个AI startup做IC，几个月前跳到Fireworks AI。认出我来的不要掀我马甲哈。
一家之言，有不同意见欢迎指出。
A. 首先是我的conviction：

• AI的市场未来还会有巨大的空间，可能相对今天还会有十倍百倍，但过程也许是曲折的，加多了杠杆也可能中途爆仓；
• Open models不会被closed models消灭，未来可能会像苹果和安卓一样，closed models拿走大部分利润，但open models也还有一定的生存空间。即使open models阵营只有20%的利润，如果整个market巨大，那也相当可观了。

• 之前我很担心OA因为掌握着最多的GPU，最前沿的模型，可以协同优化他们的推理（软件+芯片）到极低的价格，比Open models又便宜又好，比如现在的GPT Luna和Sol就都挺能打的；现在这个担心有所缓解，因为open model还有很多其他的商业上的优势，比如企业可以定制化，不用担心暴露核心给OA，不用担心关键时刻被卡脖子（比如huggingface那次cyber attack)。另外从定价角度，在GPU供给有限的情况下，closed model把非常capable的model价格降的太低也会影响他们自己的利润空间。

B. 是否每个企业自己租GPU+开源engine更划算：

• 从成本角度，我认为inference公司的成本在长期会保持优势；

• GPU供给有限并且价格很高，大家有兴趣可以查一下B200/B300在各个cloud的租赁价格，小的cloud的价格可以比AWS这样的成熟cloud低1/2以上，长期租赁价格也比短租便宜很多；inference公司可以通过集成多个小cloud，长期租赁来压低GPU成本；
• GPU价格很贵，以$5 per hour算，一个千卡集群一年价格就是$40M，并且要提前很久订货，如果企业的主业不是相关领域，自己租GPU的话灵活度差很多；
• 单个企业的traffic会有明显的波峰波谷，波峰时自己的GPU可能不够还是要用外部云，波谷时用不满就会白白烧钱；
• 每个open model的架构都有所不同，对于inference engineer可能不是单纯的集成一下open source engine, 而inference engineer不好招，在市场上也很贵；

C. Inference公司是否有moat，会不会未来有很多家同质化竞争卷的大家都没有利润空间了：

• 目前还是GPU supply极度短缺，并且资本占用很大，所以一家新的inference公司会要考虑到底lease多少GPU，而且往往需要提前6个月到1年订；目前应该是大家都有肉吃的状态；
• Inference是一个whole stack system，硬件层有GPU, AMD, TPU等等，上面的各个cloud也有不同的问题，再上面不同open models的架构，inference engineer, GPU调度，prompt cache，对不同prompt类型的优化，有非常深的优化空间。这让我觉得很像Google / Meta的Ads system，基数大时，如果能提高1%的ads revenue，哪怕放上100人的team也很划算，相对的PInterest, Reddit这种体量小的公司就没法做到那么细的优化。同样的，在inference上我认为GPU规模大的公司也更有优势，因为每投入一个人的产出更高；
• 至于会不会以后RSI，人数增加不再有优势？我想规模大一点的公司也不至于有劣势吧；
• 回到最开始的conviction，在这点上closed model优势应该更大；

D. 将来像Google Cloud这样的hyperscaler做inference，它们更有成本优势，会不会直接消灭其他inference公司：

• 如果GPU还是短缺，还是比较贵的话，大厂可以选择lease GPU vs 自己在上面做inference拿到更多价值，拿它在计算inference成本时就不能按照买入价来计算，而是按照inference带来的增量价值来算，这会减少成本优势；
• 对Google来说，如果他主要卖的是Gemini的API，那他应该投入顶尖人手来optimize Gemini的inference，在open models上的投入应该拿不到对等的资源；
• 大厂的人才密度和运行效率往往低于top startups；

E. 中国会不会cut掉open models的export，使得这些inference厂没有能打的open models:

• 我加入之前也非常担心这个，不过从经济利益考虑，像kimi提出跟云厂商收入分成，海外收入对他们也应该比较重要，open model厂应该是有动力继续促成合作；
• 之前美国有一些政治讨论说要封禁open models，目前看也好转了很多；
• 中国有一些新的model出口管制，目前看kimi 3.1好像没受影响，观望；
• 希望美国open models赶紧起来；

F. Fireworks对比其他inference公司比如baseten, together, modal （很多是猜测）

• 如果AI market足够大，大家可能都能吃的饱，尤其是考虑到明年大部分GPU都会流到frontier labs那里；
• Fireworks有自研的FireAttention，应该对比其他几家在inference上有一定技术优势。网上查一下这几家B200 on demand价格，fireworks明显高于其他家，这可能是因为部署的稳定性和吞吐量带来的优势造成的，当然也可能是因为demand高于其他家；价格高的话margin应该会更好；
• Together AI自己建data center，资产比较重，最近明显有些掉队，首席科学家也离开了；
• Modal之前主要是Sandbox，不了解inference技术如何，不过估值涨的很快；
• 因为GPU短缺，基本上只要肯降低margin都能卖出去，所以单看ARR不能说明全部，但是revenue的质量和margin又确实很机密；

G. 加入Fireworks这几个月的感受

• Overall我觉得还是比较happy，公司增长很快，这几个月人数翻了几倍，进来的人也都很强，还好leader们比较有经验，所以并不感觉很乱；
• George Hu是以前Salesforce的COO，也很有经验，加入后把公司的标志从build->train->scale改成了special intelligence，把公司的发展方向变得清晰了很多；
• 公司在inference之外投入了很多在training, Nexus等area，可以做的东西非常多，很多问题都很前沿；但是因为是围绕在主线上，我对方向还是很认可的；
• 周围的人都很踏实肯干，没有遇到什么drama，感觉心理安全感挺好的；Co-founder也都是踏实干活的那种；
• 之前我比较担心对Cursor大客户的依赖，但Cursor被xAI收购后撤出时，公司平稳过渡；
• Training方面Cursor, Harvey，GenSpark做出来不少标志案例，有非常多的training新客户；
• 工作时长是挺长的，不过有agent帮忙，加入我挺enjoy工作的，所以感觉还好；
• AI这个area变化特别的快，有时也很难判断起起落落，现在的想法是只要人才密度高，又有资本，碰到问题应该也都能抗过去；

上面的很多判断是建立在GPU供给有限并且价格很高的条件下，目前看这个假设在1-2年内还是成立的，如果按照conviction A1 GPU应该不会变成白菜价。

11月初公司有个Forge大会，有兴趣的话可以关注一下公司都在做什么：https://fireworks.ai/forge

说个不同的观点，我自己在很多不同的startups待过，包括不限于baseten. 甚至当时是phil和amir来面我的 :) 认出我的请不要说。我个人对startup inference持悲观态度，我之前还待过一家更古早的yc infra startup. 估值高的时候unicorn (当年的unicorn), 最后被aws, gcp给吞噬来血本无归。我待了4年的options在exit的时候价值0. 我个人觉得startup infra太容易被大厂给吃了。包括当时baseten已经半死不活了，幸好deepseek的横空出世拯救了一波。不过往后发展，我觉得还是会aws这些资源优势非常高的拿下极大部分open model market.

说几个观点：
1. inference做的更efficient利润不一定少，但壁垒并不高，尤其一堆开源方案也在不断进化，包括deepseek开源DeepInfer，导致这些inference提供商通过提升推理效率，获取跨厂商推理效率差带来的利润空间会不断被压缩
2. 所以inference这门生意最后会越来越同质化，变成劳动密集型，本质就是卖卡，谁的卡多谁生意就大，并且最后一定会变成比整个上下游的ecosystem，综合起来很难比过上游有更多卡的渠道和议价权的各大云厂商
3. 包括fireworks在内的很多厂商也开始做model customization，但这并不是一门好生意，费力不说其实也没有护城河，这方面做的公司太多了，方法也很同质化，而且企业客户很难伺候，经常花大力气对接客户按他们要求其他厂商做benchmark对比，最后还不一定能成

匿名用户 发表于 2026-10-26 02:45
有两个，第一就是，aws有极大的资源去拿GPU, baseten甚至都用aws的gpu。如果以后市场把open model market ...

这里有一个很明显的前提条件是不一样的。所有的卡来源目前只有老黄。
而老黄很明显在有意分散卡的供给，基本是neocloud和hyperscaler对半分卡的这种情况。而每张卡卖出去的价格应该是一样的（AWS要让老黄打折，老黄就卖给别的neocloud了）。所以我觉得AWS就一定能拿到更多的卡这点，并不一定成立的。

F里面没提了baseten没谈， 楼主谈下吧

匿名用户 发表于 2026-10-25 21:31:32
F里面没提了baseten没谈， 楼主谈下吧

关于baseten，我也是在小红书看的，不知真假。
他们可能就是用的vLLM，SGLang，没有自己的inference engine，但多云和GPU调度应该做的挺好的；
另外他们Cursor占比比较大，另外跟OpenAI的这种合作方式，估计margin会比Fireworks低一些，都是猜测。

感谢大佬真诚分享！

请问大佬能讲讲fireworks的revenue主要来源是什么规模的公司么？
是小规模的AI startups占大头么？

匿名用户 发表于 2026-10-25 21:53:38
感谢大佬真诚分享！

请问大佬能讲讲fireworks的revenue主要来源是什么规模的公司么？

还是比较diversed，有像Cursor, Cognition, Harvey, GenSpark, Lovable这类的AI公司，也有不少传统公司；
inference部分，在前几个月的token maxing狂潮之后，越来越多的传统公司承受不了frontier model的cost，也都开始买开源模型来内部使用了 (agent or coding)；
Training部分，还是以AI公司为主，因为写eval对于传统公司还是挺难的。

感谢分享！请问大佬Fireworks 的offer range是不是比地里的rumor高呀？
之前看地里的帖子，说股票给的不太多。但是身边有的朋友又说offer其实可以给到很大，甚至明显高过那几个给大包的大厂中厂。是真的吗？
另外，绿卡政策呢？job stability怎么样呢？
多谢！

skyblue2xxx 发表于 2026-10-25 21:43:24
关于baseten，我也是在小红书看的，不知真假。
他们可能就是用的vLLM，SGLang，没有自己的inference engine，但多云和GPU调度应该做

另外training上我认为fireworks还是领先的，上次Harvey的model几家都参与了各个部分的training，最后只有fireworks被放在首位，其他几家都拿了个参与奖；
不过baseten最近很多动作感觉也挺靠谱的，节奏把握的很好。

匿名用户 发表于 2026-10-25 22:02:16
感谢分享！请问大佬Fireworks 的offer range是不是比地里的rumor高呀？
之前看地里的帖子，说股票给的不太多。但是身边有的朋友又说offer

这个我也没啥data points，毕竟自己是IC了；不过很多人从Meta, Databricks等地方过来，给的少了应该挖不到人吧。

job stability我感觉不错，没看谁走，也可能是上升期的红利。

绿卡不清楚。

感谢分享！同是fireworks员工，感受到公司的增长很不错，也从这个帖子学到了很多！

skyblue2xxx 发表于 2026-10-25 22:03:23
另外training上我认为fireworks还是领先的，上次Harvey的model几家都参与了各个部分的training，最后只有fireworks被放在首

baseten哪些动作靠谱 能展开说说吗