chatgpt的智能表现其实是“意外”收获byproduct

medex 发表于 2023-2-14 08:53
把关键说出来了！

计算代价是个关键， 没有transformer之前，预测一句话的下一个词代价很高：需要记住 ...

ChatGPT是对结构主义的最后一击

之前的nlp的搞法都是整理出一个人类容易理解的结构，不管是pos也好，还是各种序列标注也罢，目标都是去训练model拟合这个结构来获得human预设的输出，可是效果就是很差

chatgpt则是用最简单的任务配上最多的data和夸张的capacity，跳过了理解结构这一步，直接在downstream task里面战胜你。

的确是比较打nlp业界的脸。扯的是，我们似乎已经快要解决nlp了，反而却对这个solution本身为啥能work知道的更少了

renlong30 发表于 2023-2-14 03:07
同意啊哈哈哈，或者说这个能不能找到OPENAI的人的采访，在做这个项目之前立项的ppt啥的，看看他们当时想要 ...

gpt1.0的时候大家也都不确定怎么搞agi 通用人工智能，各种观点都有，但openai的gpt始终是原理最简单，不就是用attention计算概率来预测接下来的文字吗，工程实现也很容易，分布式大数据量什么的不难。不过1.0的时候效果一般，Bert出现后gpt更是不被看好。后来到了gpt2.0的时候openai还是坚持最简单容易的语言生成方式，但zero shot 和few shot(ai的推理能力)这种方式仍旧效果一般，但openai这时候已经看到希望了，就是蕴藏在gpt中强大的“推理能力”。他们知道现在这条最简单的路走下去就可能搞成agi(当然也许是赌一把 :-))，于是才有了gpt3。。。
有时候原理上工程上最简单的路往往就是成功之路，现在几乎所有成功的大型llm都是采用类似gpt3的方式了，快一统江湖了

medex 发表于 2023-2-14 18:55
gpt1.0的时候大家也都不确定怎么搞agi 通用人工智能，各种观点都有，但openai的gpt始终是原理最简单，不 ...

gpt和bert的区别其实很小

核心的差异就是一个是masked lm一个是auto-regressive lm，落实下来，基本就是一个attention mask的区别，其他一模一样。当然训练的trick这些不是一个路子，gpt的模型感觉更难。

为什么gpt能出现这么强力的zero/few-shots能力我觉得目前没人更够解释清楚。不过相比之下，bert你不fine-tune，你完全没办法customize。generative model就这点儿好，至少形式上，你可以跟着走下去，让model把答案给你顺出来。

我依然觉得openai能够通过gpt-3到gpt-3.5炸出一个能够理解自然语言层面的if/else，并且进行增删查找的model，是无心之举，也很有可能和gpt-3.5在code上面进行了pretrain有很强的相关。这种形式化语言的理解被嫁接到了自然语言的domain，然后就产生了化学反应。

匿名用户 发表于 2023-2-14 12:36
gpt和bert的区别其实很小

核心的差异就是一个是masked lm一个是auto-regressive lm，落实下来，基本就 ...

这种大数据挖掘过程中的“超自然”现象确实很神奇: )

有人说对人类大脑和思维逻辑的研究还很肤浅所以不可能搞出AGI，但其实目前科学很多最基本的原理都无法解释但可以很好的使用，AI也是如此。比如无法解释光的波粒二象性和量子力学但仍然可以造量子计算机，利用量子塌缩做量子计算。。。无法解释复数空间的实质但复数运算傅里叶变换什么的早就是通讯工程的基本原理。。所以没必要非要死磕AI和人脑的black box，能应用就是王道

小亩_bcd19b6 发表于 2023-2-14 02:46
transformer 用在Cv上面是比较好的 因为平铺的像素跟一串文字处理方式可以是相似的 股票的话因为是time se ...

其实图像还有个2d空间坐标关系，这种关系也需要放到训练中去training，不然就损失信息了，cnn的那些卷积核们就是干这个的。。transformer还是更适合语言处理，但万一gpt成了agi它自己就知道怎么设计cnn了 : )

匿名用户 发表于 2023-2-14 12:36
gpt和bert的区别其实很小

核心的差异就是一个是masked lm一个是auto-regressive lm，落实下来，基本就 ...

还想补充一点，bert 比 gpt除了形式上的差别，在设计思想上也有区别。bert复杂的地方在于是双向而gpt是单向预测，添加反向关系会增加新逻辑关系，准确率随之提高，但对fine tuning需求自然会升高，于是就增加了成本和错误率。

chatgpt我们可以在一个session中通过反复和ai对话的方式来纠正它第一次回答时的错误。bert增加了反向预测可能会在你提第一个问题时AI已经预判了你接下来的问题和对ai的纠正，这样它回答更准确，但这成本更高。

匿名用户 发表于 2023-2-14 03:42
ChatGPT是对结构主义的最后一击

之前的nlp的搞法都是整理出一个人类容易理解的结构，不管是pos也好， ...

nlp概括分有非ai和ai的方法，ai里有rnn lstm 后来有了attention，然后transformer就是建立在attention基础上，然后transformer基础上又分bert和gpt，其实all you need is attention : )

不过nlp本身其实并不是openai的目的，它的目标是用nlp找接近agi的方法。就像下围棋不是deepmind的目的一样，是通过模拟无限空间环境下的计算来找agi，后来deepmind也在用nlp找agi的方法。

感觉很make sense。
话说 好奇想问下“论文提到这种“意外”现象出现于1750亿参数+45TB语料的fine tuning期间”这个是在哪篇里提到的啊，能指个位置吗

https://openreview.net/pdf?id=yzkSU5zdwD


Emergent Abilities of Large Language Models






https://arxiv.org/pdf/2108.07258.pdf


On the Opportunities and Risks of
Foundation Models

it mentions the emergent ability for foundation model

Fralk405 发表于 2023-2-27 17:29
感觉很make sense。
话说 好奇想问下“论文提到这种“意外”现象出现于1750亿参数+45TB语料的fine tuning ...

Emergent Abilities of Large Language Models

https://openreview.net/pdf?id=yzkSU5zdwD