为啥bard比chatgpt快那么多？

几个月以前chatgpt3.5也是一个词儿一个词儿的蹦，速度慢到我甚至都能赶得上阅读。现在5秒钟一篇几百词儿的小作文。。。
ps：我最近付费了
ps2：chatgpt4 还是慢

之前一直在用gpt（不是bing的是openai的，我觉得bing的gpt不是很好用），看到楼主帖子试了下bard，感觉也不快啊，而且因为不是逐字出来而是一次弹出，感觉等待的时间反而更长了，因为在它完成前不知道要等多久。gpt是逐字，所以看到需要的就可以直接stop generation了。另外gpt普通版可能慢，plus会员版是真的快，几乎秒出，升级会员之后再也回不去了😂

难道不是因为用户少么

palm2的5400亿参数和壁虎手机单机版LLM模型很值得期待

有一个很帅的人 发表于 2023-5-12 07:49
我以为chatGPT是故意模拟有人在打字，所以在慢慢显示。

就是故意的。目的大概是为了限流，怕你用的太快太多。

newtaizi 发表于 2023-5-12 21:02
就是故意的。目的大概是为了限流，怕你用的太快太多。

可是auto aggression就是一个一个token蹦出来的

其实就是模型更小而已，没啥魔法

SueCin 发表于 2023-5-12 13:01
可是auto aggression就是一个一个token蹦出来的

那也是一瞬间就一个一个地全部蹦出来了。那个延时是忽悠人地。

gpt只要付钱也很快

newtaizi 发表于 2023-5-12 22:13
那也是一瞬间就一个一个地全部蹦出来了。那个延时是忽悠人地。

我觉得是免费版分配的资源少，导致运算慢，plus的gpt3.5很快的。bard其实压根不快，只是等token蹦完了才一次性显示出来罢了