火爆ChatGPT背后别忘了AI的本质 - 老年从业者吃瓜想法

匿名用户 发表于 2023-2-13 00:37
In context learning/prompt engineering的兴起不就是generalization大幅提高的结果吗？

是的，但显然不够，并且即使是这种不够的水平也是数据规模和model规模的指数级提高带来的。一个很本质的问题就是到底通过堆model size和data size能获得的generalization极限在哪里呢。每个人可能有不同的看法，但个人感觉是很难到达人能被完全替代的水平。

补充内容 (2023-02-13 16:49 +8:00):
如果算力能被量子计算机再指数级提高一次或许真有可能hhh不过我也不是量子计算机专家就不瞎说了

匿名用户 发表于 2023-2-13 03:44
是的，但显然不够，并且即使是这种不够的水平也是数据规模和model规模的指数级提高带来的。一个很本质的 ...

是不是让模型理解并能够使用无穷大和无穷小的概念进行推理，它就可以延伸了 :).

补充内容 (2023-02-13 16:50 +8:00):
当然这几乎不可能，毕竟计算机本身都很难处理这两种情况。

chatgpt模型类似于人的直觉，看过太多的文字表达，知道针对特定的对话作怎样的应答最得体（概率最高），自动驾驶也是这个路子，给机器看大量的驾驶录像，让模型有类似于人的应对各种场景的决策直觉。因为类似直觉，模型对同一输入的应对并不稳定一致，但看上去大多比较合理，问题是这样的模型没有泛化推理能力，离真正的智能还差很远。

匿名用户 发表于 2023-2-13 00:48
是不是让模型理解并能够使用无穷大和无穷小的概念进行推理，它就可以延伸了 :).

这我就不懂了，其实现在有些人也在做reasoning based ai，但是我也是暴力分支的hhh，不太懂他们进展如何。

匿名用户 发表于 2023-2-13 03:51
这我就不懂了，其实现在有些人也在做reasoning based ai，但是我也是暴力分支的hhh，不太懂他们进展如何 ...

我做的研究是直接利用神经网络数学性质，层主例子挺好的哈哈哈哈。感谢

客观。有些从业者过于乐观，为了学术的商业的收益鼓吹AI，甚至是GAI，还导致很多非从业者恐惧恐慌担心工作被抢。

匿名用户 发表于 2023-02-12 23:54:08
楼主把人类的智能想的太复杂了。人从读书到现在花了十几年，长期吸收信息，执行，反馈，然后学习。当然不能说和ai是一样的。对于一个完全没有受过教育的人而言，学习东西的能力其实也是很慢的，而且还有很多偏见。

层主把人类的智能想的太简单了，只要养过人类幼崽就能很快认识到，现在所谓的AI和人类智能之间的学习方式和学习能力有多大的鸿沟

匿名用户 发表于 2023-2-13 10:33
层主把人类的智能想的太简单了，只要养过人类幼崽就能很快认识到，现在所谓的AI和人类智能之间的学习方式 ...

这里有个斯坦福的paper关于chatgpt的心智水平分析

https://arxiv.org/ftp/arxiv/papers/2302/2302.02083.pdf

补充内容 (2023-02-14 01:42 +8:00):
1 GPT3 solved 93% of ToM tasks, a performance comparable with that of nine-year-old children.
2 ChatGPT passed the Google L3 engineer entry test
3 ChatGPT Can Almost Pass The US Medical Licensing Exam

hgon23 发表于 2023-02-13 00:15:26
大部分脑力劳动，包括码农，都是重复性很强的，AI目前的水平有可能可以提供一个草稿；程序员的工作会不会从写代码变成改代码？

众所周知，改代码比写代码难多了。

匿名用户 发表于 2023-2-13 04:33
层主把人类的智能想的太简单了，只要养过人类幼崽就能很快认识到，现在所谓的AI和人类智能之间的学习方式 ...

是的，楼主的argument 类似 lecun hhhhhh。我研究也要用许多深度学习方法，但和楼主说的一样，它很不稳定，只是个高效拟合工具。

不过目前ml其实可以实现部分人类的能力，当然很烂，但能应付某些容错率高的事情。至于智能这块，reinforcement learning其实让机器有了点类似人的学习能力，目前大模型号称会涌现出“新的能力”。工程上把这两者结合，能搞出点东西。

至于人的智能，确实高级，目前其实很多心理学研究还是把人当黑箱搞统计推断，心理学相关的研究也非常的 “软”。很难想象让人工智能去走人的路线，还不如把人类智能里明确可用的部分拿出来。我觉得人可能更擅长联想还有就是能在心里生成模型，别的地方和机器还挺像的hhhhhh。