Yann LeCun表示ChatGPT缺乏创新

正在进行 发表于 2023-01-24 12:37:22
这种市场眼界感觉对科研来说还是蛮重要的

科研有这个眼光最好了，没有的话就要靠产品团队落地。lecun的话从ml角度上听听就好，不要太认真了。

Yueyugu 发表于 2023-01-24 16:42:15
你提到了LLM的一个巨大问题，就是性能难以复现。这也是Lecun说的没毛病的原因之一：现在的LLM是一轮一轮大量的训练得到的某个还不错的ckpt, 但你用一样的模型一样的方法训可能就出不来一样的效果。

如果你训练LLM像摇骰子的话很大原因是在optimization和numeric上的经验不足。这点opt的logbook里也体现的很明显。和fair相比deepmind复现的就快得多。

LeCun说得没毛病，不止创新不足，我甚至对ChatGPT火起来都觉得很莫名其妙，大模型火了很多年了，能聊能写能唱能画的惊艳application前几年出了很多

Woof00 发表于 2023-01-24 07:24:49
问问数学，统计，工学院各自都做机器学习，他们之间怎么看同行的论文…… 虽然各有争议，但是也不会这么相互贬低吧……
觉得innovation在各行里都有自己的评价方法了~ LeCun在学术上的成就有目共

Lecun不是第一次干这种事情了，他的个人习惯就这样😂

从 research角度看好像是没有什么breaking through，但是从engineer和commercial上看，已经具备商业价值了。单说一点，就搞英文revise，在国内每个月收个30rmb会员费，我是愿意付费的。还有整合到siri、echo身上，或者搞机器宠物，都是挺有想象空间的。AI最缺的就是落地，不嫌多。

YBC人生 发表于 2023-1-23 21:11
他原话甚至说LLMs are making shits up。这哥们真的。。无话可说

有点过分，不过是我觉得LLM现在方向不太对，虽然我就是个小白。。。

酸的是一笔

做研究的看不起做工程的呗，他们估计也有鄙视链。
市场不会care的，做出好的产品才是真的

lzq56618 发表于 2023-01-24 20:28:29
有点过分，不过是我觉得LLM现在方向不太对，虽然我就是个小白。。。

nlp只能无脑堆llms 没有其他办法不像cv

harrybob 发表于 2023-01-24 17:08:26
如果你训练LLM像摇骰子的话很大原因是在optimization和numeric上的经验不足。这点opt的logbook里也体现的很明显。和fair相比deepmind复现的就快得多。

主要prompt太伪科学了……太unstable了