深度学习有啥用，本质是啥，chatgpt 大模型 能干啥 欢迎大家讨论

匿名用户 发表于 2023-02-16 07:31:30
目前的深度学习或者机器学习其实都在干一件事，拟合数据分布。

真实的数据分布一般都不是gaussian，poisson这种可以解析的，而是无规律的，所以我们需要用一个强大的函数来拟合，这个函数目前就是

补充一点emergent ability，这个能力是有的，只是这个能力的定义很容易达到。一般来说，数据增加或者模型大小增大，模型的在大部分tasks的表现是增长的，但最多也就是个线性增长。可是，某些task，一开始规模增大，模型表现是一个斜率很低的线性增长，但是当达到一定规模后，会出现一个拐点，增长的斜率突然变大。在这个定义下，涌现能力是存在的。目前学术界还没有合理的解释，还在探索阶段。

medex 发表于 2023-2-16 07:07
一个有趣的问题：大脑神经突触之间的生物信号传播采用激活机制，bp算法也是采用激活函数传递信号，那大脑是 ...

我印象中大脑的生物信号并不只是有强弱的区别，同时也有时域上的变化。就好比NN里的activation在一次inference里面并不是一个固定值，而像脉冲那样是从低到高，然后从高到低变化的。这种脉冲显然携带了更多的信息，所以大脑计算功耗非常小。现代数字计算机是无法模仿这种计算的。现在谁也不知道这种信号脉冲的计算对人工智能是不是必须的。

匿名用户 发表于 2023-2-16 10:31
目前的深度学习或者机器学习其实都在干一件事，拟合数据分布。

真实的数据分布一般都不是gaussian，poisso ...

层主您说的大部分我同意，这里补充一下： 不需要y 服从gaussian而用least square formula，在数值线性代数里，deterministic 的 数据照样能用。

匿名用户 发表于 2023-2-16 11:01
补充一点emergent ability，这个能力是有的，只是这个能力的定义很容易达到。一般来说，数据增加或者模型 ...

补充一下jason wei那篇 emergent ability的文章，以及review: https://openreview.net/forum?id=yzkSU5zdwD

匿名用户 发表于 2023-2-16 09:24
现在开始觉得生成式AI有点Overhyped.... ChatGPT/Bard/Bing都一样。整个大语言model的training objective就 ...

transformer  based通用大模型还是挺厉害的： https://www.deepmind.com/publications/a-generalist-agent

记性好(parameters) + 会掌握规律(pattern) 一样可以是好学生

匿名用户 发表于 2023-2-16 10:11
举一反三的能力当然有，推理的能力也当然有，不能因为会犯错就否定这些能力，人也会犯各种错误。

那么多一 ...

现在就是充满未知，也许llm不是正确的方向，但是效果确实有提升，很多人的反驳也很奇怪，比如“我学过的线性代数和微积分不可能那么厉害”，反对者论调比lecun差远了。号称掌握本质，然后反对llm的还有一堆内行。

深度学习的本质是：

1.解决巨大复杂度的预测问题
2.表现比人强

举例子，井字棋有 3^9 次方可能，人类可强制枚举结果（比如leetcode和oa常见题），于是可以轻松推断怎么赢，你说井字棋可不可以用深度学习？答案是完全可以！

围棋，情况是可数的，但是人类无法强制枚举结果（leetcode也没法考），怎么把超高复杂度的问题变成可解呢？ 答案就是通过深度学习里的一些算法，使得预测的落子点表现比人强就行

更何况还有很多不可数的实数域的枚举问题。

总之记住一点，深度学习的核心永远是先考虑这个业务的本质是什么，是不是要表现的比人好？再转化为模型，再找对应的算法去解决。比如车牌号识别，用的是最普通最low最古早的图像识别算法，表现的比人好，就落地赚钱咯。 比如下围棋，用的是强化学习等，表现的比人好，那就落地被。

匿名用户 发表于 2023-2-16 09:24
现在开始觉得生成式AI有点Overhyped.... ChatGPT/Bard/Bing都一样。整个大语言model的training objective就 ...

这是Stephen Wolfram 文章，他觉得LLM可以反过来揭示我们人类说话和思考的一些特征

https://writings.stephenwolfram. ... d-why-does-it-work/

插眼以备后用