chatgpt的智能表现其实是“意外”收获byproduct

qcheroback 发表于 2023-2-13 11:29
既然人类的语言能够预测，那是不是人类的投资行为也能预测，人类的所有行为都能预测，地球的未来也能预测？ ...

能模拟不代表能以更小计算代价预测
而模拟行为本身又成为模拟过程的一个变量

https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc1 可以看下这个，比什么突然冒出来要有说服力一些。

是这样的，当下的机器学习本身比较接近炼金术，都是偶然发现成功，然后在成功的 case 下进行下一步发展

很少说理论上证明成立了，再去实验验证

natalya 发表于 2023-2-13 21:55
是这样的，当下的机器学习本身比较接近炼金术，都是偶然发现成功，然后在成功的 case 下进行下一步发展

...

对  我们都是炼金术士多荣耀, 头戴铝盔走天涯  ;o)
https://youtu.be/_4e9HocP-HM

yangff 发表于 2023-2-13 21:33
https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Mod ...

谢谢文章！ RLHF等等当然是都是预先设计的，“智能现象”当然不是天上掉下来的pizza :)

我这里说的意思是当我们一般设计神经网络ann的时候一般是要把我们要达到的目的做为training target,比如猫猫照片为1 狗狗照片为2，然后bp去反向调整权重 bias等等去接近这个target。但是做语言gpt模型时没有把“思维逻辑”作为我们的target去训练， 因为我们现在还没办法定义什么是“人类思维逻辑”。transformer 或者nlp一般第一步Unsupervised learning 非监督学习，feed它一堆没有label语料training就好了，这里product target只是简单的预测接下来的文字内容而已，就这么简单。。最后在运行时表现的human logic并非product target(bp的目标值)，而是byproduct(这样做当然也是有意设计出来的)

yangff 发表于 2023-2-13 21:33
https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Mod ...

谢谢文章！ RLHF等等当然是都是预先设计的，“智能现象”当然不是天上掉下来的pizza :)

我这里说的意思是当我们一般设计神经网络ann的时候一般是要把我们要达到的目的做为training target,比如猫猫照片为1 狗狗照片为2，然后bp去反向调整权重 bias等等去接近这个target。但是做语言gpt模型时没有把“思维逻辑”作为我们的target去训练， 因为我们现在还没办法定义什么是“人类思维逻辑”。transformer 或者nlp一般第一步Unsupervised learning 非监督学习，feed它一堆没有label语料training就好了，这里product target只是简单的预测接下来的文字内容而已，就这么简单。。最后在运行时表现的human logic并非product target(bp的目标值)，而是byproduct(这样做当然也是有意设计出来的)

thunderfyc 发表于 2023-2-13 21:22
能模拟不代表能以更小计算代价预测
而模拟行为本身又成为模拟过程的一个变量

把关键说出来了！

计算代价是个关键， 没有transformer之前，预测一句话的下一个词代价很高：需要记住完整的一句话的信息，吃葡萄不吐葡萄  ->  皮（预测是“皮” 因为大家都这么说），但要记住这一整段话的信息再预测显然是太累了:(

于是就有了lstm这些rnn们，很久之前的那些话(比如曾经说的爱到海枯石烂之类的该忘的就忘了吧 ;-) 但如何忘记不是人说了算，是自动训练出来的。最后我们训练后知道“吐葡萄”后面一般是“皮”这个字， 和“吃葡萄”没啥关系，可是问题是这个遗忘训练代价还是太大，就有了注意力attention（就是确定预测时对之前的每个字该有多少专注度）。

最早rnn里加入了transformer确实效果好了很多，但还是代价太高，因为这里有信息冗余redundancy，有了注意力干嘛还要记住前面整段话，这么多垃圾参数都扔掉就是我们的变形金刚 transformer了 ;-)

所谓AI是什么？是把你想知道却无法通过规则计算的事情让机器通过自己纠错找出答案，就这么简单

我总在想transformer在语言预测这么成功，那能不能来做股票。但是理智告诉我股票没有模式，不可能预测。相反，transformer做code review是很靠谱的应用

AA_W 发表于 2023-02-13 17:40:13
我总在想transformer在语言预测这么成功，那能不能来做股票。但是理智告诉我股票没有模式，不可能预测。相反，transformer做code review是很靠谱的应用

transformer 用在Cv上面是比较好的 因为平铺的像素跟一串文字处理方式可以是相似的 股票的话因为是time series 就比较复杂 可能需要加一层计算时间的layer