火爆ChatGPT背后别忘了AI的本质 - 老年从业者吃瓜想法

匿名用户 发表于 2023-2-13 10:23
算力是可以无穷大，现在还不够，所以很难预测无穷大之后会发生什么。

但是你对比人的学习方式就会知道 ...

注意，我也并没有说堆数据就能创造人的思考能力。

除了数据跟算力的以外，还有新的建模机制，比如现在流行的把RL引入DL，让他快速适应变化。在比如你说的有的小孩就是觉得有趣所以说谎，这完全也可以做一个随机事件来模拟，也许这个小孩的灵机一动本身就是类似于随机事件发生的机制。

再举个例子啊，很多人学会开车之后，能自然而然的处理各种交通情况，并不需要历史数据去经历所有的状况。其实人学会的是一种pattern，比如有障碍物咋办，天气不好咋办，本身是generalise的东西，很像一种回归。而人处理新状况的时候，更多的以之前学到的pattern为主干，基于一些本能反应（instinct）然后用类似fuzzy logic的方法做出不那么精确但足够好的反应。

我不是脑科学的或者行为学领域的，所以上面都是些朴素的想法，没有任何事实根据。纯粹提出一种我认为的可能哈，毋杠，杠就是你对。

写的很好，支持一下！

楼主低估深度神经网络跟人脑的相似度了。我个人认为从一定的纯逻辑层面上看，神经网络跟人脑就是一样的。仅2层的神经网络，理论上就可以表达任意的函数。有个这个理论基础也就意味着，2层的神经网络就可以装下整个人脑的逻辑。而难点在于如何训练出一个神经网络来实现跟人脑一样的函数。人脑不仅是后天学习进步的，人脑也是亿万年进化的结果，人脑的很多基础能力是先天的。神经网络的训练也可以选择进化算法，就是随机选择下一组参数，然后淘汰掉离目标远的参数，这个过程跟进化过程就很类似了，但是其训练的效率太差。不管是梯度还是进化算法，其为了达到的目的是一样的，就是把神经网络“捏”成我们想要的形状。神经网络最厉害的一点就在于其内部的黑盒是可以模拟任意复杂度的数学函数的。人类的数学知识是有限的，但是神经网络模拟函数的潜能是无限的，这一点跟人脑也是一样的。

我觉得楼主可能真的高估了人类. 我认为人脑并没有真正的逻辑电路 所谓的rule based的逻辑在人脑里的表征很可能也是自然语言符号为基础的association based概率统计模型, 在平时inference的时候会出现大量的错误 (因为相关性而导致的逻辑归因错误可能是人类在做推理时犯的最多的错误了). 我认为llm完全可以做到不输普通人类 因为这种靠经验数据找相关性来学习实在是太像普通人类的思维模式了 所谓的人类小样本学习能力不过就是在百万年的进化pretrained一些权重 我认为其实很像deep learning迁移学习

作为data science专业的人说一下，强人工智能是没有经过验证的实现路径的。甚至强人工智能的路径是一个哲学和脑科学问题，即什么是知识，什么是学习过程，什么是创造力，人的学习过程是什么，人的创造力的来源又是什么。这些问题在被回答之前，DL还是处在撞墙的状态，ChatGPT和过去的gpt2，3没有本质区别。有一些DL和强化学习的结合，但从成本上还是无法实现，并且喂进去的数据集质量也很难保证。

匿名用户 发表于 2023-02-13 00:04:56
就是sin函数哦，这是generalization问题，你只能在有限范围内让他学会。在1-10 input上train，然后在10-100测试就完全坏了

补充内容 (2023-02-13 16:

可是我们人类又是怎么根据1-10的数据泛化到10-100的呢？不过是我们加了一些régularisation, extrapolate 是否正确是个很难考量的事，从这个角度看机器不能extrapolate 并不是件坏事

donnice 发表于 2023-2-13 10:22
我作为资深自动驾驶黑，最近倒是想到了自动驾驶的一个靠谱的应用，小范围内的L5级别的自动送餐/送快递服务 ...

doordash labs就在搞你说的这个

匿名用户 发表于 2023-2-13 16:09
这个回答有点意思，比起楼上有些回答更值得回复， 我举个例子不一定对哈，但是我说的统计学本质，是这样 ...

谢谢楼主回复，您说的对的。目前dL就是用composition和概率提高了找到答案的效率。但没有rule based method 想让DL算法实现准确 就很难。目前我们工作也是利用dl增大search space。reinforcement learning可以说 它是一种高效穷举的办法，比如谷歌的alpha tensor，当然它太浪费了。当然 理论上可以边用RL扩大范围 再用别的模型学习，当然样很浪费 emergent ability又很奇怪。
不过我觉得工程上面仍然很有潜力 就像楼里有人说的结合传统计算机方法和DL。尤其是假如emergent ability是真的话，那么大模型真能造出点东西，搞高精度计算不行，干些容错率低的也许不错。当然这怎么实现 就是另一个话题了。

匿名用户 发表于 2023-02-13 14:56:33
doordash labs就在搞你说的这个

这能搞成的话是最好的，只是我个人觉得这么多公司分别在搞这个有点太浪费。。。比如和cruise合作一起搞会好很多（利益无关）

关键是并没有必要实现真正的智能啊 chatgpt能够帮助搜索实现更高的效率 能够提升人类文员的工作效率 让大家有问题的时候去问chatgpt而不是google（google搜索难道就能保证答案准确吗？）再加etc 并且能够变现 就已经够了 已经够革命性了 为什么非要纠结是不是真智能