也说ChatGPT和其影响 - 以前的NLP技术被革命了

开篇名义，ChatGPT绝对是革命性的技术，它的影响力如何都不能低估

那么ChatGPT革了谁的命？

这个大家心里估计都有自己的答案。但是有一个完全确定的是革命对象是，ChatGPT以前的NLP技术。

以前的NLP都是分门别类，一个task搞一个model。有NER的，有事件抽取的，有coreference的，还有各种情感分析的。但是万变不离其中，这些task做得都是一件事，从非结构化的文本，提取结构化的数据，交给下游的任务使用，或者用作分析。也有生成类的task，比如summarization和translation。

ChatGPT的出现，对于所有NLP task可谓降维打击。ChatGPT本身预训练的数据，超出目前所有公开的模型的数据量，包括gpt和bert模型。注意这里不仅是数据量的绝对数量，也有model被train过多少data的量。第二，chatgpt极强的zero-shot和few-shot能力，直接让很多task，尤其是结构化提取的task，变成prompt engineering。只要在prompt里面加入几个example，chatgpt自动就帮你完成冷启动的工作，可用性相当之高。不恰当的类比，之前的NLP工程像是在针对每个case造asic，之后的NLP应用，会进化成写Python app，因为ChatGPT本身足够robust，上层只要专注实现应用层的logic就好了。

ChatGPT，以及类似的技术，以后为成为自然语言到结构化数据的翻译器，类似一个NLP data bus。仅仅是这个use case，就能提供足够的想象力，改变人类与计算机交互的模式。能够影响的行业将不计其数，可以认为只要是涉及从人那里获取需求，然后填表下单的工作，ChatGPT都可以下场去disrupt。

其实也做不到。现在我们那么多Bert， Mum model，很快会被LLM取代了吗？显然不行，首先scalability就上不去，latency也根本不是一个数量级的。再说就算用了，model metrics/AUC比原先专用的model也没有明显提升，甚至是下降，一样需要很多tuning。短期内能做的只是用来做distilled model。

匿名用户 发表于 2023-2-20 20:12
不是很认同

chatgpt的亮点其实不在transformer，须知transformer的第一篇paper就是生成模型，只不过gp ...

同意，我也做NLP好多年了，chatGPT的robustness程度惊人，相比以前的模型完全是量变达到了质变
反观某些所谓的业内人士不以为然的说它技术上并无创新只是engineering做得好和human annotation量大，真不知道这些这些人眼里什么才算真正的技术

正确的，准确的

谢谢楼主分享！

所以sde会大批量灭亡么？

匿名用户 发表于 2023-2-20 09:04
所以sde会大批量灭亡么？

我觉得对scientist的影响更大。模型越来越大，又是通用语言模型，训练和fine tune时间财力成本大大增加，普通人很难修改模型结构。prompt engineering门槛又不高，而且可能也是目前特定时期需要的技术，好像已经有在做automated prompt generation了。

匿名用户 发表于 2023-02-20 06:04:56
所以sde会大批量灭亡么？

不会吧 chatgpt也要dimain addaptation 虽然可能替代了某些工作 但是也多了一个新的方向

openai做gpt的目的不是仅仅局限在nlp领域，而是通过gpt学习人类语言中蕴含的思维逻辑，从而模拟人类的思维实现agi

同意答主说的 不过chatgpt 是不是还要再多迭代几遍才能达到您说的这种程度，目前几个foundation model 都有类似的能力, 真正难点似乎在 alignment和safety上，还真不知道谁是最后赢家。
MLE, DS, DA 受到影响应该挺大。