Yann LeCun表示ChatGPT缺乏创新

chatGPT最近大火并且吸引了微软投资100亿。但是Yann LeCun表示ChatGPT 缺乏技术创新（原文："In terms of underlying techniques, ChatGPT is not particularly innovative,"）。其中所用到的transformer和RLHF是Google、deepmind发明的（原文："Transformers is a Google invention,"），但是他们（服务、模型）建的很好（原文："it was just very well engineered."）。

原文：https://www.zdnet.com/article/ch ... chief-ai-scientist/
(ChatGPT is 'not particularly innovative,' and 'nothing revolutionary', says Meta's chief AI scientist)

以上是Yann LeCun的发言新闻。今天在LinkedIn看到了有感而发。作为用户，个人觉得chatGPT做一些文案工作还是很出色的。对于答案的正确性有严格要求的问题大家还是对chatGPT的输出报一个怀疑的态度为好。这个东西一出来的时候，发现它被宣传的满世界都是，就去试了一下。我个人的感觉是，做的确实出色，但是没有宣传的那么邪门。另外，像LeCun说的，他们用的主要技术例如transformer，也不是他们自己提出来来的。
所以个人愚见是东西确实是好东西，但是感觉他们的营销比产品更成功。

当然，作为从业者，还是得好好学习人家的技术。

我猜楼上疯狂diss Lecun的都不是做ML的业内人吧？

我很赞同Lecun的观点，LLM从research的角度就是很没有创新性，现在都在拼数据和训练，就那么几个核心技术各种排列组合。虽然性能确实强，但学术价值和创新性进展缓慢。这点他说的没错，就是变得很engineer work而不是AI innovation work。

当然我没有觉得LLM或者chatgpt不好，只是从research角度讲创新性不足没毛病。

曾经的三分之一图灵奖得主现在也需要靠糟践同行来蹭热度了。

如果只不过是稍微well engineeered的东西都能这么火让人们感觉震撼，那是不是说AI的应用潜力非常非常大。。。

我比較好奇為何FB/IG的推薦那麼爛haha

哈哈 自己没有弄出来 酸别人的么

"it was just very well engineered." 好歹也是图灵得主，想不到能说这话。

他原话甚至说LLMs are making shits up。这哥们真的。。无话可说

savant 发表于 2023-01-23 18:58:38
"it was just very well engineered." 好歹也是图灵得主，想不到能说这话。

是的，我在推特也看到了，没好意思转…太彪悍了…

YBC人生 发表于 2023-01-23 19:11:36
他原话甚至说LLMs are making shits up。这哥们真的。。无话可说

他推特甚至爆粗口了…我实在没好意思转…

这么说Iphone 也就是个just engineered well 的手机而已。呵呵