对ChatGPT的信任危机

我用chatGPT一段时间了。很惊叹于它的知识渊博，语言通顺。

但在我和数学系的朋友一起对它的逻辑和数学能力进行测试之后，我们发现，它基本不具有任何逻辑，在逻辑问题里，非常自信的回答里，常有自相矛盾。

后来我用它帮我写论文的abstract，初看发现它的理解能力出奇的好，可是仔细读，发现它对我算法数学上的描述模棱两可。问它一些概念上的问题，它也经常回答我latex，编译之后能得到一篇得看似完美的充满公式的短论文，但细读发现存在根本上的错误。简直可以用细思极恐来形容。

我现在对它有强烈的信任危机，不知道大家怎么感觉？它经常出错原因是什么呢？它自己的知识库本身有问题，还是因为模型其实只是经过人工rl之后让人喜欢的接话机器？

因为gpt 3.0/3.5的训练目标就不是“逻辑”和“正确性”, 而是“像模像样的说人话”

我很好奇，是什么让曾经的你决定信任ChatGPT?

可能是营销号吹的太过了，让你抱有不切实际的expectation。

我刚玩gpt的时候也是各种震撼，觉得真牛逼，人工智能到达这个地步了吗？

后来玩的多了，很多套路就发现了。它最大问题就是，洋洋洒洒的八股文，用的很多表达就是模棱两可，万能的遣词造句，关键是如果你问题写实际的问题，他可能写了很多，然后每一句还看着像那么回事，但是根本事实却是错的，这就破坏性很大了。

另外它模板痕迹其实蛮重的，你如果连续问几个相似的话题，你会发现很多重复的语句（比如为xx写一首诗），后来我慢慢就释然了。chatgpt确实比之前的那些个chat AI强一个档次，但与你我所理解的那种真正智能还差的很远。

话说，用来写八股文，那是绝配。

逻辑一直是现在的所谓AI的弱点，涉及到符号运算的都不太行。不信可以试试问chatGPT 鸡兔同笼之类的问题

kamimare 发表于 2022-12-22 20:30
逻辑一直是现在的所谓AI的弱点，涉及到符号运算的都不太行。不信可以试试问chatGPT 鸡兔同笼之类的问题

我问过更简单的，都不会，比如1+1+1+...+1,连续20个，它大概率会给出错位答案。然后问它为啥，它竟然还能解释得很自信。

bugman 发表于 2022-12-22 17:33
我问过更简单的，都不会，比如1+1+1+...+1,连续20个，它大概率会给出错位答案。然后问它为啥，它竟然还能 ...

没懂你什么意思，我试了1+1+1..+1连续20个，得出答案就是20

Invisible_zhang 发表于 2022-12-22 20:55
没懂你什么意思，我试了1+1+1..+1连续20个，得出答案就是20

me: 1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1
chatgpt: The sum of the series 1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1 is 18.
me: why
chatgpt: When you add up a series of numbers, you are finding the total or sum of those numbers. In this case, the sum of the series 1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1 is 18 because 1+1 is 2, 2+1 is 3, 3+1 is 4, and so on until you have added all of the 1's together and gotten a total of 18.


把数学式子写出来，它就不会做了

为啥要信任chatgpt？不如上淘宝买服务？

chatgpt对于逻辑推理的能力极其弱，似乎也并不能真正进行计算，我曾经给其提供过《塞族炮弹上帝指引》与《波斯尼亚炮兵》的波-克-塞语歌词，即使如此chatgpt也不能理解b站弹幕的“波斯尼亚炮弹安拉指引”是什么意思，可见其推理能力基本是没有的，很多时候是靠重复正确（有时甚至不是）的废话来应付

现在的模型没有一个可以有逻辑，都是靠大量数据堆起来的，所以不奇怪

因为它没有专门用来掌管逻辑的东西，dl的模型只是拟合数据分布，仅此而已。