怎么提高chatgpt的容量？

chatgpt还挺好用的。主要问题是容量受限，经常说容量到了，不能再提供服务了。
有什么办法能有效提高chatgpt的容量，让所有人都可以随时查询？那样就可以确实危及google的一部分市场了。

hellofriend 发表于 2023-1-30 13:20
有microsoft这样的大金主，买硬件机器应该不是问题。
技术上的瓶颈在哪里？

技术上的瓶颈就是如何把query的成本降下来，同时保证输出的质量。
你每个query的compute cost都是可以换算成钱的。如果query cost高于这个query能赚来的钱的话，那从公司的角度看这个生意就没没法做了。

复习下system design里的how to scale up

匿名用户 发表于 2023-1-31 06:46
好奇所有的model都得用gpu serve么？这行的话岂不是永远不可能上scale因为gpu的cost？

这是当然的，没gpu或者tpu，跑一步估计都要好几分钟吧lol

这要看chatgpt最后到底能商用到那种程度了

这几年优化肯定会持续进行，模型会缩小，芯片也会更加高效，但是我觉得要降到目前google search的per request的cost依然是遥不可及的

买更多server，增加read replica的数量

傻不傻啊？

交钱，买机器，能跑chatgpt的机器，在这里

https://www.nvidia.com/en-us/data-center/dgx-a100/

只要150k，心动不如行动

有microsoft这样的大金主，买硬件机器应该不是问题。
技术上的瓶颈在哪里？

hellofriend 发表于 2023-1-30 13:20
有microsoft这样的大金主，买硬件机器应该不是问题。
技术上的瓶颈在哪里？

一般来讲这样的容量到达上限 就是Web Server 算力不够的表现，

Chat GPT 刚上线，还在测试阶段。Web Server 肯定不会有特别庞大的规模

正式运营只要部署 一些能够弹性增加算力的服务器就能解决访问容量问题 （e.g. AWS EC2）

但是这样也会同样给后端运行Neural Networks的AI服务器带来负载问题，所以根本上还是要买更多的AI超级计算机，能够支持庞大的AI运算。

服务器买够了，应该就没啥技术瓶颈了吧

只要能变现的话

hellofriend 发表于 2023-1-31 05:20
有microsoft这样的大金主，买硬件机器应该不是问题。
技术上的瓶颈在哪里？

买硬件机器还真成问题

互联网scale的假设其实是建立在per request的成本几乎可以忽略不计，几万台机器基本上就可以同时serve几千万user这样的假设之上，如果前面加个cache，能serve的就更多了

chatgpt这样的模型目前不符合这种假设，一台8gpu的机器可能qps也就3-5个不得了了，而且对于cache非常unfriendly，在目前这种模型的size情况下，最多也就scale 10x，也就是几万台最高级的8gpu instance，最多也就同时serve几十万人。就算是aws和azure加起来，有没有这种么多instance都还两说，也不可能全部用来给chatgpt使。

chatgpt这种东西除非以后能缩小到足够小的size，现在这个规模是走入商用，那是绝对不可能免费的，要么就和你现在碰到的情况一下，每天最多给你10个request，之后就thorttle你到痛不欲生