Yann LeCun表示ChatGPT缺乏创新

YAMWD 发表于 2023-1-24 08:51
真诚发问，为什么这样的提升是“很显然不可持续的”？到现在来说，transformer类大模型的潜力天花板应该还 ...

堆数据/堆参数确实能提高效果，但是问题是需要多少呢。按照现在的路线，把地球烧了都不一定能train出来AGI。GPT3系列（包括ChatGPT）已经非常昂贵了。

推荐一篇paper: Emergent abilities of large language models. 里面很多关于大模型的实验结果都挺有趣。

尽管楼里有人觉得这种靠堆FLOPS/model perpelxity的方式是不可持续的，但至少这个方向在研究里还是现在学术界的方向之一。在大模型身上的unseen capabilities其实某种程度上改变了NLP研究，比如无论怎样精细finetune过的模型在其专精领域表现也不如general训练过的大模型。学术界本身和工业界就有gap，目标不同。这个路线也不是单一的，scaling up有好处，RLHF也有好处，未来肯定也有相关的方法论，让我们抵达更高智能模型的FLOPS是sublinear增长的。

这也导致很可能未来的人工智能市场确实就是有能力训练大模型的公司来提供这些接口，而其他公司不再需要自己从头开始训练，build upon foundation models, 做一些很小的改动就会有很好的效果，也算是降低AI新型应用研发的边际成本。

fsss1729 发表于 2023-1-24 13:44
推荐一篇paper: Emergent abilities of large language models. 里面很多关于大模型的实验结果都挺有趣。
...

"至少这个方向在研究里还是现在学术界的方向之一" 这很对，事实上lecun的批评和我上面说的都不是否定LLM或是GPT的存在意义。他们很有意义，问题在于overhyped。overhype带来的对于某条路线的盲目乐观可能会导致资源的不合理倾斜和浪费。

fsss1729 发表于 2023-1-24 13:44
推荐一篇paper: Emergent abilities of large language models. 里面很多关于大模型的实验结果都挺有趣。
...

以及“无论怎样精细finetune过的模型在其专精领域表现也不如general训练过的大模型”这点在绝大多数task上都不成立。

tytz 发表于 2023-1-24 17:05
"至少这个方向在研究里还是现在学术界的方向之一" 这很对，事实上lecun的批评和我上面说的都不是否定LLM ...

很认同兄台的看法！ 这个浮躁的年代。。。

Integer23 发表于 2023-1-23 22:43
这么说Iphone 也就是个just engineered well 的手机而已。呵呵

从research的角度来说，某种意义上是对的。。。

Yueyugu 发表于 2023-1-23 22:31
我猜楼上疯狂diss Lecun的都不是做ML的业内人吧？

我很赞同Lecun的观点，LLM从resear ...

业内人士表示同意hhh没问题啊

这种轻视engineering的文化也是FAIR影响力越来越弱的重要原因。一个gpt3复现做了那么久也是工程能力不足的体现。

yedkk 发表于 2023-1-24 13:41
只要现在还是黑箱炼丹，就做不成强人工智能，能做出来一个看起来还行，但是根本不能细究的回答机器。

人类基本上也是这样。

harrybob 发表于 2023-01-24 16:34:12
这种轻视engineering的文化也是FAIR影响力越来越弱的重要原因。一个gpt3复现做了那么久也是工程能力不足的体现。

你提到了LLM的一个巨大问题，就是性能难以复现。这也是Lecun说的没毛病的原因之一：现在的LLM是一轮一轮大量的训练得到的某个还不错的ckpt, 但你用一样的模型一样的方法训可能就出不来一样的效果。你可以理解为摇骰子摇出来了一个6，和你需要一遍一遍摇骰子的再摇出下一个6。