chatgpt的智能表现其实是“意外”收获byproduct

1 GPT3 solved 93% of ToM tasks, a performance comparable with that of nine-year-old children.
2 ChatGPT passed the Google L3 engineer entry test
3 ChatGPT Can Almost Pass The US Medical Licensing Exam
...
这些惊人表现其实是gpt的意外收获。先给不熟悉ai的童鞋们科普一下，gpt transformer原理其实非常简单，就是用来预测语言的。比如“你好”它会猜接下来会说“吃了吗“之类的:o)    而你输入“下雨”它就会说 收衣服啦 。。 这种类似因果律似的预测(当然要预先调教fine tuning过所以叫Pre-trained gpt，不然你说天要下雨它会让你去嫁人;-))。gpt只是通过一种叫“注意力”attention的东东加上fine tuning做到了比别的ai上下文结合的好，仅此而已，当然关键点是需要天文数字的参数，语言样本和训练费用。


2015年底openai 创立的时候本来是非盈利尝试agi可能性的open source 组织，之前也做dota电竞ai其实也是这种探索，到gpt2.0一直是开源的，gpt3 微软控股100亿$以后就利益相关了。但openai的目标一直没变，是agi通用智能.
transformer模拟思维逻辑方面表现出来的潜力区别于一般的domain ai，比如cv的cnn 和rnn lstm等传统nlp。chatgpt的一些“思维逻辑”表现是加大数据量参数量后出现的"byproduct"，当然不是if else人为设计，甚至设计神经网络之前也没有预测到这种“类思维逻辑”现象什么时候在多少数据量和参数量下会出现(论文提到这种“意外”现象出现于1750亿参数+45TB语料的fine tuning期间)。

人的思维逻辑是否蕴藏在人类语言当中？因为-所以因果律等等各种逻辑关系是都可以在语料当中做预测训练，这些逻辑关系交织混合叠加结合在一起后会产生巨量的“新逻辑”，用事实label做fine tuning之后 chatgpt产生的一些“类逻辑回答“甚至超出人们已认识范畴属于ai原创的新“思维方式”。


一个特别之处就是gpt竟然可以通过“蛮力”加大数据量参数量大力出奇迹(byproduc)，这在其他AI模型中没有出现过。如果继续挖掘人类语言增加语料参数量层数等可以100% mimic human logic 是否就有可能通过turing test和其他ai测试？“imitation intelligence ”和“initiative intelligence”，“虚拟”和“真实”究竟如何区分？这些问题不能轻易肯定，更不能轻易否定，2018年出现gpt1.0到chatgpt的3.0，再到已上线的gpt4.0，ai迭代更新速度已经超过摩尔定律，可能会越来越接近这个最有challenging问题的答案

估计openai和微软这两年砸巨资训练gpt也是看到了“agi 人类逻辑思维可能藏在最简单的语言模仿中”这种大道至简的哲学思想

yangff 发表于 2023-2-13 21:33
https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Mod ...

谢谢文章！ RLHF等等当然是都是预先设计的，“智能现象”当然不是天上掉下来的pizza :)

我这里说的意思是当我们一般设计神经网络ann的时候一般是要把我们要达到的目的做为training target,比如猫猫照片为1 狗狗照片为2，然后bp去反向调整权重 bias等等去接近这个target。但是做语言gpt模型时没有把“思维逻辑”作为我们的target去训练， 因为我们现在还没办法定义什么是“人类思维逻辑”。transformer 或者nlp一般第一步Unsupervised learning 非监督学习，feed它一堆没有label语料training就好了，这里product target只是简单的预测接下来的文字内容而已，就这么简单。。最后在运行时表现的human logic并非product target(bp的目标值)，而是byproduct(这样做当然也是有意设计出来的)

需要second一下这个

我觉得openai自己也可能是model训练出来在发现居然获得了这种能力。这个undelying task本身实在是太过简单，而且这种能力似乎只有参数到了一定规模，就会突然冒出来，所以才会被叫做emerging abilities。

qcheroback 发表于 2023-2-13 20:29
既然人类的语言能够预测，那是不是人类的投资行为也能预测，人类的所有行为都能预测，地球的未来也能预测？ ...

那就要看思维逻辑是否都藏在语言里，如果是就可以产生一些“类思维”。ai的上限也是以人的思维为基础的，毕竟ai是traning出来的，ai is not god : )

是这样的，当下的机器学习本身比较接近炼金术，都是偶然发现成功，然后在成功的 case 下进行下一步发展

很少说理论上证明成立了，再去实验验证

既然人类的语言能够预测，那是不是人类的投资行为也能预测，人类的所有行为都能预测，地球的未来也能预测？

感觉那一天不远了啊

补充一点："一个特别之处就是gpt竟然可以通过“蛮力”加大数据量参数量大力出奇迹(byproduc)，这在其他AI模型中没有出现过。" 这其实不是gpt的特别之处，看起来更像是transformer 极大的提高了training scale up的水平，而language data天然有这种类似于推理的机制。除了gpt系列以外其他的大model也有这个现象。

匿名用户 发表于 2023-2-13 20:31
需要second一下这个

我觉得openai自己也可能是model训练出来在发现居然获得了这种能力。这个undelying t ...

同意，ai black box很难解释，但有类似的训练模型经验，不然当时gpt3一次training460万$ 总训练费用1200万$都成了玩游戏打水漂 ;o)

匿名用户 发表于 2023-2-13 20:52
补充一点："一个特别之处就是gpt竟然可以通过“蛮力”加大数据量参数量大力出奇迹(byproduc)，这在其他AI模 ...

处理长文档预训练的LLM目前还是transformer效果更好些吧

medex 发表于 2023-2-13 11:56
处理长文档预训练的LLM目前还是transformer效果更好些吧

是啊，所以我说主要是transformer的出现使得training能够极大scale up。基于transformer的LLM除了GPT系列还有很多，都有这个现象。

匿名用户 发表于 2023-2-13 20:59
是啊，所以我说主要是transformer的出现使得training能够极大scale up。基于transformer的LLM除了GPT系列 ...

赞同 : )
觉得nlp 似乎和 cv 语音识别等等看起来都是某一domain 的ai，但又有超越领域限制的成为通用AI的潜力。deepmind做alpha-go的时候也是想通过围棋入手去找通用AI的方法