Yann LeCun表示ChatGPT缺乏创新

Meta自己的chatbot做这么烂被看笑话还好意思说别人

NLP从业者。看完ChatGPT原理论文，表示确实是很认同的。这个模型在原理上不同于之前的GPT主要在于数据。。。训练过程是用老GPT输出4个答案，找了40个标记工，标记4个答案哪个最好哪个最差（论文方法是排序，4 3 2 1 四个分数这样）。换句话说，基本上就还是GPT，只不过在数据上主要用这最好的25%的合理答案，重新用RLHF学习了这个数据集。

所以这个模型的成功主要在于标记和训练方法上，，毕竟GPT每次出4个答案，人工选1个靠谱的还是可以选出来的。然而没有解决任何本质的问题，ChatGPT的母模型GPT还是很差，还是需要人工4选1以后才能用。。。问题在于，这个是不是人工智能的创新和未来，我也不认为是。

YAMWD 发表于 2023-01-24 08:51:27
真诚发问，为什么这样的提升是“很显然不可持续的”？到现在来说，transformer类大模型的潜力天花板应该还没有被摸到，如果研究证实确实需要这样不断堆数据来提升LLM的效果呢

其官方论文写到，他们雇佣了40个标记工人对GPT生成的数据进行标记，具体方法是对每一个问答，GPT生成4个可能的答案，这些标记工人对四个答案做排序，标记哪个答案最好哪个最差。最后是用这个带标记的数据再训练出的ChatGPT。。很显然，这样靠大量人工标记，而且是对模型输出结果的二次标记（模型改一下，输出结果就会变了，就又要重新标记了啊），就是不可持续的，不是LeCun想象中的那种能自动学习的人工智能。。。

nlp从业，在学校的时候ml方向。

同意楼里的观察，好像确实 overhyped about chatGPT的人都不太从事ML工作。从研究角度出发chatgpt确实没有什么novelty。我甚至怀疑把gpt3的prompting模式直接再包装成一个chatbot是不是能有相近的效果。

我觉得google和meta肯定已经在work on他们的改良chatgpt了，说不定今年就会出现了。毕竟chatgpt也没啥硬核的科研技术壁垒，投钱就能做了。

cherriosoo 发表于 2023-1-23 20:00
如果只不过是稍微well engineeered的东西都能这么火让人们感觉震撼，那是不是说AI的应用潜力非常非常大。。 ...

不要看不起well-engineered，全世界可能只有这一个engineered得这么well的……

run93 发表于 2023-1-24 10:16
NLP从业者。看完ChatGPT原理论文，表示确实是很认同的。这个模型在原理上不同于之前的GPT主要在于数据。。 ...

如果原理只是这样的话，这模型从设计上就不是追求precision的，实际上它的behavior确实也是这样，我玩了一阵子，它的答案感觉就是 “似是而非” ，特别有自信，但是经常出错。

比较好奇如果只是engineer work的话为什么meta没有做出来

正在进行 发表于 2023-01-24 12:27:56
比较好奇如果只是engineer work的话为什么meta没有做出来

当然是因为chatgpt成功不仅仅是因为ml有多先进，而是他用了一个大家都能懂的medium通俗化了这个技术。meta不是做不出来，而是不知道要做这个或者是不想要做这个。现在chatgpt火了，meta肯定猛抄

the66zz 发表于 2023-1-24 12:34
当然是因为chatgpt成功不仅仅是因为ml有多先进，而是他用了一个大家都能懂的medium通俗化了这个技术。meta ...

这种市场眼界感觉对科研来说还是蛮重要的

正在进行 发表于 2023-1-24 12:27
比较好奇如果只是engineer work的话为什么meta没有做出来

上头不支持做吧，这么大的工程量要批资源不是那么容易的，chatgpt和meta的主要盈利也不是那么契合看不出有什么必要要投入那么多钱来搞