chatgpt的智能表现其实是“意外”收获byproduct

Fralk405 发表于 2023-2-27 23:29
感觉很make sense。
话说 好奇想问下“论文提到这种“意外”现象出现于1750亿参数+45TB语料的fine tuning ...

https://arxiv.org/pdf/2005.14165.pdf  openai 的这篇paper介绍了一下gpt3的一些情况，比如 3.5 Common Sense Reasoning 等等
gpt3的参数是1750亿 语料大约是45TB数据量差不多等于1万亿Token。这个规模其实差不多达到全球数字化资源的1/3。估计目前的人类网络数字化资源规模是3.2万亿Token。如果按照sam altman说的18个月提升一倍的AI新摩尔定律，可见的未来就可以几乎学完全部人类智力资源了

不过算力成本也是问题 : )
目前这个规模花了1200万$，要是保持参数规模只是单纯增加training的token到3万亿token. 但LeCun认为应该减少参数增加语料，用meta的效果更好。而openai从gpt2开始就推测大参数大模型的LLM简单算法大力出奇迹，所以今后openai估计还是会继续增加参数量，再加上RLHF Finetune 。。。所以费用估计不是简单的代数增长
即便training好了还有上线服务的费用也是天价。。。看网上还有人希望未来出单机版下载到手机 ;-)   这是不可能的，一般输入法预测只需要50M RAM，chatgpt的话要800G

这样不同语言训练出来的AI智商肯定不一样…

考拉杨 发表于 2023-2-28 03:24
这样不同语言训练出来的AI智商肯定不一样…

yep..目前估算全部的中文资源只占全世界总资源的1.3%，英文资料比中文资源多大约40-50倍。而ChatGPT用于训练的语料中，中文仅占0.1%，所以和chatgpt聊天最好还是用英文 :-)

这个意外还有一个原因是用GitHub代码库训练吧，逻辑推理据说主要是因为用了代码

medex 发表于 2023-2-27 15:47
不过算力成本也是问题 : )
目前这个规模花了1200万$，要是保持参数规模只是单纯增加training的token到3万 ...

堆语料有一个问题就是数据马上就要堆完了，接下来怎么办，尤其是generative AI公开之后可能导致的人工语料减少。
以及部分高质量数据是有版权的，人可以买书来看，不知道AI training怎么处理这个问题。

感觉在国内发展存在阻碍，各种言论管制，这样训练集会少很多

beijinboy 发表于 2023-3-1 23:52
这个意外还有一个原因是用GitHub代码库训练吧，逻辑推理据说主要是因为用了代码

确实，比cot更简洁的就是pot，zero shot时候让ai自己coding解决问题就ok了 ;-)