火爆ChatGPT背后别忘了AI的本质 - 老年从业者吃瓜想法

问题根本不在于LLM是不是强智能，而在于很多人的工作本来就是弱智能的；它在五年之内直接或间接地影响我们是个很合理的假设而非科幻的想法。

本质还是我说的deep learning现在是无法保障100%特定预测结果的准确度的，有一些人命关天的预测，如果你想确保100%预测对了，肯定是要打rule based补丁最保险

而这实际上是一个伦理学问题或者说法学问题，因为我们人类也无法保证100%准确，但是我们有权力说自己“尽力了”，“做必须的冒险”，“遇到了不可避免的牺牲”。
当然我们可以说今天AI/ML如此工作就是因为它没有人权，那硬币的另一面就是也必不能犯大错；但这些伦理判断并不能定义技术的极限或者说发展方向。

楼主，首先Backpropagation是优化方法, 本质是gradient descent，解决的是least square 这个问题。你可以说回归分析能用gradient descent 来找到最小loss，但说统计是方法是“本质” 有点过了，我们传统数值方法解微分方程 还是用的least square。

匿名用户 发表于 2023-2-13 17:58
楼上很多类似的回复，但是感觉根源还是不愿意相信现在deep learning技术的局限性，或者不懂其根本原理， ...

2015年底openai 创立的时候本来是非盈利尝试agi可能性的open source 组织，之前也做dota电竞ai其实也是这种探索，到gpt2.0一直是开源的，gpt3 微软控股100亿$以后就利益相关了。但openai的目标一直没变，是agi通用智能.

transformer模拟思维逻辑方面表现出来的潜力区别于一般的domain ai，比如cv的cnn 和rnn lstm等传统nlp。chatgpt的一些“思维逻辑”表现是加大数据量参数量后出现的"byproduct"，当然不是if else人为设计，甚至设计神经网络之前也没有预测到这种“类思维逻辑”现象在多少数据量和参数量下出现(论文提到这种“意外”现象出现于1750亿参数+45TB语料的fine tuning期间)。

人的思维逻辑是否蕴藏在人类语言当中？因为-所以因果律等等各种逻辑关系是都可以在语料当中做预测训练，这些逻辑关系交织混合叠加结合在一起后会产生巨量的“新逻辑”，用事实label做fine tuning之后 chatgpt产生的一些“类逻辑回答“甚至超出人们已认识范畴属于ai原创的新“思维方式”。

一个特别之处就是gpt竟然可以通过“蛮力”加大数据量参数量大力出奇迹，这在其他模型中没有出现过。如果继续挖掘人类语言增加语料参数量层数等可以100% mimic human logic 是否就有可能通过turing test和其他ai测试？“imitation intelligence ”和“initiative intelligence”，“虚拟”和“真实”究竟如何区分？这些问题不能轻易肯定，更不能轻易否定，2018年出现gpt1.0到chatgpt的3.0，再到已经上线的gpt4.0，ai迭代更新速度已经超过摩尔定律，越来越接近这个最有challenging问题的答案

chatgpt好处就是收集信息做整合。文章的形式为产出。核心看不出来划时代的意义。当然很可能给AI的现实应用做了个好头

至于自动驾驶:  除了技术问题，很多法律问题也没解决。

人类的本质就是对未来充满了很多期望，最后不得不接受现实。科技很多时候没有我们幻想发展的快。（参见小灵通漫游未来）

我也不喜欢人工智能这个词，每次都能想到PPT和骗子。我的理解是，model的好处在于学习大量数据，而且可以unbiased的来关注所有的细节，牺牲了部分准确度，但节省了大量时间。如果只有10个样本，啥模型都不如自己看准确。chatgpt还是很强的，至少很多trivial的问题，比用google搜索效率要高，难的易错的问题错误率还是太高了，关键你也不知道错没错，微软这步棋走的还是很好的，chatgpt+搜索引擎，这样raw的信息源和处理之后的信息你都有了，大大增加搜索效率。但是bing搜索还是不行，对比一下google和bing的结果就知道了(可以尝试搜optoma P2，bing的产品都搞错了，chatgpt也搞错了)，所以又用回了chrome。。。

对自动驾驶的观点手动点赞，关键还是在于容错率太低，99%的准确度都不够，涉及安全问题，而且出现新的状况，模型之前没见过，很难保证可以generalize well

匿名用户 发表于 2023-2-13 14:02
我也不喜欢人工智能这个词，每次都能想到PPT和骗子。我的理解是，model的好处在于学习大量数据，而且可以un ...

说得很对同意！

lz说的和Yann Lecun今天说的不谋而合。我转发一下吧

Yann LeCun
• 2nd
VP & Chief AI Scientist at Meta
2h •  2 hours ago

My unwavering opinion on current (auto-regressive) LLMs
1. They are useful as writing aids.
2. They are "reactive" & don't plan nor reason.
3. They make stuff up or retrieve stuff approximately.
4. That can be mitigated but not fixed by human feedback.
5. Better systems will come.
6. Current LLMs should be used as writing aids, not much more.
7. Marrying them with tools such as search engines is highly non trivial.
8. There *will* be better systems that are factual, non toxic, and controllable. They just won't be auto-regressive LLMs.
9.I have been consistent with the above while defending Galactica as a scientific writing aid.
10. Warning folks that AR-LLMs make stuff up and should not be used to get factual advice.
11. Warning that only a small superficial portion of human knowledge can ever be captured by LLMs.
12. Being clear that better system will be appearing, but they will be based on different principles.
They will not be auto-regressive LLMs.
13. Why do LLMs appear much better at generating code than generating general text?
Because, unlike the real world, the universe that a program manipulates (the state of the variables) is limited, discrete, deterministic, and fully observable.
The real world is none of that.
14. Unlike what the most acerbic critics of Galactica have claimed
- LLMs *are* being used as writing aids.
- They *will not* destroy the fabric of society by causing the mindless masses to believe their made-up nonsense.
- People will use them for what they are helpful with.

donnice 发表于 2023-2-13 13:22
我作为资深自动驾驶黑，最近倒是想到了自动驾驶的一个靠谱的应用，小范围内的L5级别的自动送餐/送快递服务 ...

你这不就类似于仓库机器人么？这种确实简单太多，闭环系统。

匿名用户 发表于 2023-2-13 10:28
pretrained model通过很少的数据量finetune甚至few shot就可以学习新的东西。人脑的DNA也是经过上千万年通 ...

说起来这个fewshot和转移学习的区别到底在哪呢？

helloterran 发表于 2023-2-13 14:08
lz说的和Yann Lecun今天说的不谋而合。我转发一下吧

Yann LeCun

哈哈哈还是大佬说得到位