也说ChatGPT和其影响 - 以前的NLP技术被革命了

主要还是embedding质量更高了。

匿名用户 发表于 2023-2-20 23:40
其实也做不到。现在我们那么多Bert， Mum model，很快会被LLM取代了吗？显然不行，首先scalability就上不去 ...

嗯是这个道理

用chatgpt和一个小模型打擂台是忽略了成本的

短期内我预测，用chatgpt来augment和量产数据将会成为主流

但是无法忽视的是，目前这种一个task一个模型的手法，在生产中是不scale的，毕竟对接一个service你就需要一个组来维护，又贵又慢还不robust。以后会越来越成为一个大组维护一个llm，其他应用层的组，如果latency能过得去，就直接调api了。现在很多scientist的活儿会变成engineering

最近有中文用户发现gpt会回答完全made up的结论 大家有什么看法？

family2018 发表于 2023-2-20 09:36
主要还是embedding质量更高了。

GPT3 is a decoder only model. There is no embedding.

dlaraw 发表于 2023-2-20 13:33
GPT3 is a decoder only model. There is no embedding.

https://medium.com/nerd-for-tech ... 355#:~:text=GPT%2D3,produce%20the%20next%20word%20prediction.网上随便搜的。我不确定任何NLP会不需要embedding。如果不同意就是你对啦。

感谢楼主分享

看了一下我怎么感觉其实楼主并不是很了解ChatGPT以及NLP的进化史

NLP进化差不多是parser syntax tree based->HMM->RNN->Transformers

.--ChatGPT作为利用最后一项技术的产品,一个优势确实是训练数据巨大.  而且比起一般的GPT3的亮点在于是human fine tuned, 用了大量人力去lable好的结果, 给出的结果非常符合人们的期待.

这也是为什么业界很多人对ChatGPT不以为然. 确实是利用的很公开的技术. 但是这东西nb就nb在是human fine tuned,这个可不是所有项目组都能做到这个地步的.

dlaraw 发表于 2023-2-20 14:33
GPT3 is a decoder only model. There is no embedding.

怎么可以没有embedding,那拿什么把word tokens变成vector

decoder only也是需要embedding的

匿名用户 发表于 2023-2-21 08:44
看了一下我怎么感觉其实楼主并不是很了解ChatGPT以及NLP的进化史

NLP进化差不多是parser syntax tree ba ...

不是很认同

chatgpt的亮点其实不在transformer，须知transformer的第一篇paper就是生成模型，只不过gpt只用了人的decoder而已。chatgpt除了把objective改成ar之外，模型这个东西可以说没啥可讲的。

我是在工业界给很多science团队的模型做对接和验证的。可以说之前的模型在robustness方面和chatgpt完全不在一个等级，属于情人眼里出西施的状态，ood随随便便就试出来，要不是我不忍心，大家都要升职加薪养家，这些模型最后都要统统扔进垃圾桶。

chatgpt反过来了，我想尽办法去adversarial的调戏它，绝大部分时间它依然能顺利过关。robustness到了这种程度，已经不是一种产品，阻挠它的问题是compliance，而不是capacity。

匿名用户 发表于 2023-2-20 20:12
不是很认同

chatgpt的亮点其实不在transformer，须知transformer的第一篇paper就是生成模型，只不过gp ...

同意，我也做NLP好多年了，chatGPT的robustness程度惊人，相比以前的模型完全是量变达到了质变
反观某些所谓的业内人士不以为然的说它技术上并无创新只是engineering做得好和human annotation量大，真不知道这些这些人眼里什么才算真正的技术