关于谷歌tpu的几点疑问

RT         我混迹vllm社区有俩月了  

10月末（时间点我记不太清勒 ） 几个老哥把tpu接入勒vllm

到现在 基本没咋看见关于tpu的issue  pr倒是看见过几个   但都是谷歌自己内部人员改bug     

谷歌的tpu最新出的那个推理上感觉跟b200差不多  但是架不住便宜  但是为啥vllm社区没有相关的issue   

如果谷歌云开几个gpu 自己选模型--然后设置什么sp tp 参数  然后system design问你参数trade off --这时候才是真正的爆点

训练还是看英伟达 问题推理GPU又不需要CUDA 推理成本是训练十倍不止 openAI训练1.2亿美元 推理成本14亿

ssjg8 发表于 2025-11-25 11:43
Gemini 3训练用的TPU，cuda free
这才是花街恐慌抛售nvda的原因

额。。。虽然但是。哪怕当年bard, 甚至再往前bert的训练都是全用tpu的

感觉谷歌的策略不在这里，他们先发展企业用户。人类学谈了个单子，现在又在跟meta谈

外面用的人少就是最大的劣势.... vllm问个CUDA 13, 12.x的问题就一堆人讨论

匿名用户 发表于 2025-11-25 09:55
外面用的人少就是最大的劣势.... vllm问个CUDA 13, 12.x的问题就一堆人讨论

现在都是穷哥们搁那蹭gemini pro  会员

不要疑问，相信🐶，相信劈材，买就是了

只要有足够的经济利益，什么用的人少，不好用，都是最不重要的理由。关键还是TPU对客户的需求是不是有什么不可克服的障碍的，只要答案是否定的，而且可以用更少的cost达到需求，那么早晚就有人用。

hy006 发表于 2025-11-25 08:13
只要有足够的经济利益，什么用的人少，不好用，都是最不重要的理由。关键还是TPU对客户的需求是不是有什么 ...

可说呢，Google chat那破玩意都能迎来最大的企业客户

都有哪些vllm的社区啊？这里没有吧？

google要接管芯片+模型+应用全套产业链了