也说ChatGPT和其影响 - 以前的NLP技术被革命了

对的，lm的强大的few shot zero shot能力，直接大力出奇迹式地完成了以往的其他任务。

但我仍然觉得四两拨千斤的小模型是值得研究的

大部分企业都没有足够的算力好吧？

匿名用户 发表于 2023-2-20 06:04
所以sde会大批量灭亡么？

跟你说个实例。 最近参与一个产品级的使用chatGPT技术演示。 不是很成熟。但是这个产品总监 说了一下为啥要这么快就上chatGPT  。"大量的startup正在使用chatGPT，去开发出更好的应用。。。"  这意味着小公司用好了chatGPT  也能做出好的面向用户的产品。  也意味着更多的SWE job

匿名用户 发表于 2023-2-20 20:39
大部分企业都没有足够的算力好吧？

之前听某个搞科技投资的人讲说未来小企业可以直接借用大企业的模型，大企业pretrain 好了， 小企业再fine tune。

匿名用户 发表于 2023-02-20 17:33:07
同意，我也做NLP好多年了，chatGPT的robustness程度惊人，相比以前的模型完全是量变达到了质变
反观某些所谓的业内人士不以为然的说它技术上并无创新只是engineering做得好和hu

楼主大佬层主大佬不考虑做一个视频吗？

multimodal呢？还有前景吗

匿名用户 发表于 2023-2-20 20:12
不是很认同

chatgpt的亮点其实不在transformer，须知transformer的第一篇paper就是生成模型，只不过gp ...

我想表达的是chatgpt技术层面其实不是NLP革命类的进步,比如技术引进后人们都换了制造模型的方式淘汰了很多之前的理论和技术这种. GPT2,GPT3可以算是. 当年的Transformers self attention却是这种革命类的进步.

其实不冲突的,chatgpt模型是没有什么可以讲的.

对于用户来说是革命性的. 的确是这东西的distribution和真实人类语言模型的distribution非常相似,human fine tuned达到了惊人的地步.

我相信这里面肯定也有很多secret sauce,并不是说模型足够大,数据足够多, human annotation足够多,就可以简单达到这种程度的. openai这里面一些的细节没有公开,而且有些也并非一般的企业可以负担的.

匿名用户 发表于 2023-2-20 22:10
.. 之前听某个搞科技投资的人讲说未来小企业可以直接借用大企业的模型，大企业pretrain 好了， 小企业再fine ...

是的,这样做是非常普遍的.

但是大公司花了大价钱训练的好模型都是不公开的,想要达到和这些模型一样的performance,是需要巨大的训练资金的.

地里感觉技术分析的人太少了， 这个属于一个月前chatGPT的很多技术文章就纯技术趋势讨论过的。。。他会对NLP的范式会有很多影响，但是也不是一下子全废掉，感觉楼主说的还是太主观了。

my two cents: 目前industry走BERT的技术线的话，real-time inference speed和data security都不是问题，通过调api来走gpt路线这两个都是问题。另外chatgpt自带了hallucination的新问题，对于产品级应用这个算是定时炸弹。未来gpt+knowledge graph可能是一种更好的方案，但both技术和算力都还有很长的一段路要走。最近一两年可能会有很多chatgpt2vc的项目出来，但nlp产业界落地的主流技术不太可能有大变化。