为啥bard比chatgpt快那么多？

刚试了一下，bard确实非常快，不需要等，基本黑及时的，但是bing的chatgpt要灯个一两秒，怎么做到得？很好奇，照说azure比🐶的云规模大一些，机器数量上有优势？这么说事🐶的算法效率高一些？懂得朋友讲讲？

技术沉淀，大厂的强项都不太一样

🍎 硬件设计
🐶 高scalability高速
🥜 企业级应用

机器多少根本不是问题，这种东西可以linearly scale。效率不够的话就会不舍得，llm算一次要比普通搜索引擎贵多了，不然chatgpt干嘛要限流

之前一直在用gpt（不是bing的是openai的，我觉得bing的gpt不是很好用），看到楼主帖子试了下bard，感觉也不快啊，而且因为不是逐字出来而是一次弹出，感觉等待的时间反而更长了，因为在它完成前不知道要等多久。gpt是逐字，所以看到需要的就可以直接stop generation了。另外gpt普通版可能慢，plus会员版是真的快，几乎秒出，升级会员之后再也回不去了😂

别尬吹了，刚又试用了一遍，bard就是一个金玉其外的乐色，跟ChatGPT根本不能比。

举个简单的例子，ChatGPT里面你可以把一段论文摘抄进去，然后让它出多种形式的quiz。类似的要求你放到bard里面，你会发现它根本不能理解你所要求的各种细节，比如题目要求不能只有单选，比如要求题目和答案要分开放置。如果你在对话里要求它修正，它很快就会陷入错乱状态，比如给你出的quiz只有答案不见题干。

ChatBot的精髓是要能精确理解用户提出的问题，并记住用户的要求，然后才是讨论答案的好坏对错。如果连最基本的都做不好，剩余投入再多，都只会变成谷歌这些年搞的烂尾工程，比如那个让人笑掉大牙的Stadia游戏机。

Azure 比gcp机器多不代表chatgpt用的机器就比bard多

bard效果差远了

快有什么用，快还要大，大还要硬，硬还会动

放弃 bard，效果不行再快也不行

我以为chatGPT是故意模拟有人在打字，所以在慢慢显示。

我猜测bard 的每次inference 应该比chapgpt便宜。
模型差一些应该也能理解。
不然以谷歌的体量要亏死了。

另外bard的target用户应该比chatGPT广泛一些。
可以想象一下每天用谷歌的还是普通人比较多。
如果你希望白嫖bard帮你完成写代码之类的复杂工作说明你并不是目标人群。

bard没有即时吧？我用的时候也会想个三四秒。

模型size的区别呗。。小模型推理就快。LLM serving是autoregressive decoding，decoding是一个循环，推理出一个词才能推理下一个词。要是速度不够快就会像楼上有人说的那样，慢慢的一个一个词显示。