Yann LeCun表示ChatGPT缺乏创新

本人在meta，这个人也diss过整个reinforcement learning方向，贬得一无是处，当时还和人在评论下吵。真搞不懂fair里还有不少组做rl他就这么diss同事真的有情商吗？

不过对于chatgpt我也是同意的，但better engineering不代表trival。之前曾经面试过OpenAI和他们聊的时候就听说他们自己说过有很多时候要做“土”的事情，而不是fancy的事情。但能把技术集成好也是很难得的。

mikemike0 发表于 2023-1-23 18:31
我比較好奇為何FB/IG的推薦那麼爛haha

你这个黑的就没什么意思了，fb本来重点就不是搞搜索的，盈利也不靠搜索，投入本来就不算大。而且就算专门做过搜索的微软到目前为止搜索也是做的一言难尽啊

SakuraXTY 发表于 2023-1-24 13:46
你这个黑的就没什么意思了，fb本来重点就不是搞搜索的，盈利也不靠搜索，投入本来就不算大。而且就算专门 ...

我黑Meta 搜索？看來Meta員工真的操，連看都能看錯.. 還是你到底理解成啥..
我只是轉頭問了下FB/IG的廣告推薦？

Yueyugu 发表于 2023-1-23 19:31
我猜楼上疯狂diss Lecun的都不是做ML的业内人吧？

我很赞同Lecun的观点，LLM从research的角度就是很没有创 ...

：
你和杨乐坤应该都不知道Robert William Kearns发明间歇式雨刷然后被福特盗用的故事。福特就是这么diss Robert的发明的，但是最后法官是这样说的：

“It is idle to say that combinations of old elements cannot be inventions; substantially every invention is for such a 'combination': that is to say, it consists of former elements in a new assemblage."

简单说，啥新发明不是不是各种核心技术的排列组合？包括他的CNN？

杨乐坤讲话方式和你也一样，简单总结就是 “在座的都不懂”，觉得大家都是没入门的瞎hype，而不知道否定之否定继续进步。

Mark6 发表于 2023-1-23 23:15
：
你和杨乐坤应该都不知道Robert William Kearns发明间歇式雨刷然后被福特盗用的故事。福特就是这么dis ...

这其实还挺不一样的。目前LLM的很大一个问题就是一些效果看起来很好的新paper基本上都是加更多数据/加更大的model得到更好的效果，然后营造出一种这样效果的提升是可持续，并且能达到终极目标的假象。GPT3是如此，Google的一些新工作也是如此，技术方面几乎没什么新进展。但很显然这样的提升不是可持续的。“营造出一种这样效果的提升是可持续的假象”就是hype。

Yueyugu 发表于 2023-1-24 04:31
我猜楼上疯狂diss Lecun的都不是做ML的业内人吧？

我很赞同Lecun的观点，LLM从research的角度就是很没有创 ...

那你们做学术的是不是脱离实际太久了？改变世界的体验不在于SOTA技术，而是普及到庞大的用户群

哈哈哈，学人相轻是这样的。

问问数学，统计，工学院各自都做机器学习，他们之间怎么看同行的论文…… 虽然各有争议，但是也不会这么相互贬低吧……
觉得innovation在各行里都有自己的评价方法了~ LeCun在学术上的成就有目共睹，但是以此贬低别人劳动成果的价值，实不可取。
强烈反对楼上那条，“diss的大都是不做机器学习的”~ 想想看，多少“innovation”其实也是经验上的总结~ 比如实验证明sample / model size很重要，fine tune可以实现transfer learning... 这些总结不重要么？如果这些不重要的话，那反问transformer的创新点在哪里，有解释清楚为啥并行结构就好用么？
所以，最多只能说从LeCun他们关注的角度讲，ChatGPT“缺乏创新”~ 但并不意味着从别的角度讲就真的“没有创新”……

酸倒牙了，何必呢

tytz 发表于 2023-01-24 01:33:32
这其实还挺不一样的。目前LLM的很大一个问题就是一些效果看起来很好的新paper基本上都是加更多数据/加更大的model得到更好的效果，然后营造出一种这样效果的提升是可持续，并且能达到终极目标的假象。

真诚发问，为什么这样的提升是“很显然不可持续的”？到现在来说，transformer类大模型的潜力天花板应该还没有被摸到，如果研究证实确实需要这样不断堆数据来提升LLM的效果呢