深度学习有啥用，本质是啥，chatgpt 大模型 能干啥 欢迎大家讨论

但他現在是隻黃金史萊姆
對於以服務業為主的社會來說應該會有用途？
搞不好以後會取代一部分sales和marketing的人

With four parameters I can fit an elephant, and with five I can make him wiggle his trunk. — von Neumann

匿名用户 发表于 2023-02-16 19:43:50
我强调深度学习是在做数据拟合，是因为深度学习的objective function基本上都是以maximum likelihood作为基本loss（这就是在做分布拟合，也是某个层主提到的blurred

为什么max likelihood objective就不能是推理？警察破案不也是对各种可能发生的事做max likelihood，不能说不算推理吧？

匿名用户 发表于 2023-02-16 20:27:36
为什么max likelihood objective就不能是推理？警察破案不也是对各种可能发生的事做max likelihood，不能说不算推理吧？

不是所有的tasks都不能用现有框架做推理，我前面一个帖子说过，人类的智能，包括各种认知，交流，学习，思考等方方面面，不是所有能力都是在做数据拟合或者分布估计，但也存在估计概率的能力，这些能力比较适合用现在的人工智能方案解决，但有些能力可能现有的框架并不是适合。所以像lecun，gary等大佬也觉得现有框架不是agi的终极答案，现有框架能解决部分人类能力的模仿，但不是所有。

匿名用户 发表于 2023-02-16 21:04:59
不是所有的tasks都不能用现有框架做推理，我前面一个帖子说过，人类的智能，包括各种认知，交流，学习，思考等方方面面，不是所有能力都是在做数据拟合或者分布估计，但也存在估计概率的能力，这些能力比较适合

我同意llm不一定是实现agi的充分条件，但我不同意llm不能推理，是歪路的说法。你说的那两个大佬屁股都是歪的，尤其是gary，大佬都算不上，小丑而已。

匿名用户 发表于 2023-02-16 21:25:55
我同意llm不一定是实现agi的充分条件，但我不同意llm不能推理，是歪路的说法。你说的那两个大佬屁股都是歪的，尤其是gary，大佬都算不上，小丑而已。

我没有说llm不能推理，我甚至还说llm+pot可以在确定性数学表现很好。我的观点是现有机器学习理论对于逻辑推理能力的不适配性，但通过训练或者一些surrogate可以让model看上去像是可以表现出具有一定的推理能力而已。但这不是真正的推理，至少不是人类的推理方式。

关于大佬的看法，我只是同意llm并不是解决agi的观点，关于为什么，我没说同意他们的理由，到底是竞争关系还是乱开炮都和我同意他们的观点无关，我也是研究llm的，我博士毕业快十年了，老师当了这么多年了，我有自身对研究方向的认知。

匿名用户 发表于 2023-2-17 13:05
我没有说llm不能推理，我甚至还说llm+pot可以在确定性数学表现很好。我的观点是现有机器学习理论对于逻辑 ...

那“看上去像推理”和“真正的推理”区别在哪里呢？

转角遇见猫 发表于 2023-2-16 17:17
我印象中大脑的生物信号并不只是有强弱的区别，同时也有时域上的变化。就好比NN里的activation在一次infe ...

Hinton论文说大脑的神经信号传递算法neural gradient representation by activity differences NGRAD就是人脑的反向传播bp算法神经回路

匿名用户 发表于 2023-02-16 21:04:59
不是所有的tasks都不能用现有框架做推理，我前面一个帖子说过，人类的智能，包括各种认知，交流，学习，思考等方方面面，不是所有能力都是在做数据拟合或者分布估计，但也存在估计概率的能力，这些能力比较适合

我同意你对深度学习的看法，但是同时觉得你太高看人类的所谓“智能”了。 你所谓的认知其实就是基于你收集到的信息做的一个模型，学习和交流更是深度学习的强项。之所以现在还不够智能，是因为他接受到的数据不够广，不够多。比如人类的感情和情绪，现在也是可以量化的。我的观点就是如果真的有人愿意量化一切features,就以现在的chatgpt模型 完全可以训练出一个比99%人都聪明的可以真正“思考”的大脑，但是这个花费巨大。就看资本家愿意不愿意投入巨大的资金训练一个大脑未来代替大多数大脑“思考”。

补充内容 (2023-02-17 23:27 +08:00):
其实也没有巨大。 elon musk很聪明的开放chatgpt给用户“体验”其实就是在免费收集数据。如果大家坚持用chatgpt,他说不定就会成为这个代替大家思考的“大脑”

匿名用户 发表于 2023-2-16 22:43
我强调深度学习是在做数据拟合，是因为深度学习的objective function基本上都是以maximum likelihood作为 ...

贴主 我可以复制 然后置顶你的帖子嘛