怎么提高chatgpt的容量？

mimighost007 发表于 2023-01-30 14:37:32
买硬件机器还真成问题

互联网scale的假设其实是建立在per request的成本几乎可以忽略不计，几万台机器基本上就可以同时serve几千万user这样的假设之上，如果前面加个cache，能

好奇所有的model都得用gpu serve么？这行的话岂不是永远不可能上scale因为gpu的cost？

匿名用户 发表于 2023-1-31 06:46
好奇所有的model都得用gpu serve么？这行的话岂不是永远不可能上scale因为gpu的cost？

这是当然的，没gpu或者tpu，跑一步估计都要好几分钟吧lol

这要看chatgpt最后到底能商用到那种程度了

这几年优化肯定会持续进行，模型会缩小，芯片也会更加高效，但是我觉得要降到目前google search的per request的cost依然是遥不可及的

mimighost007 发表于 2023-01-30 13:13:23
交钱，买机器，能跑chatgpt的机器，在这里

https://www.nvidia.com/en-us/data-center/dgx-a100/

模型都训好了 为啥用GPU？用CPU要便宜的多

小黄人668 发表于 2023-1-31 07:21
模型都训好了 为啥用GPU？用CPU要便宜的多

benchmark网上一搜就有

https://huggingface.co/bigscience/bloom/discussions/87

某楼大哥说3.5min一个token，假设一个response是200个token，那就是750min，那就是接近12个小时