通用人工智能agi时代真的开始了

这几天跟个跟gpt的话题，简单总结一下，感觉agi时代真的开始了，具体paper引用和链接就不写了（可以自己去google或问问gpt ，bing那里可以给出链接 ;-) ）大家有兴趣可以讨论和反驳：

1 逻辑推理能力: reasoning 能力不多说了，很多paper都在谈gpt突然出现的智能emergence，最重要的是这种推理能力不是基于人为输入if/else规则，也不是用逻辑规则数据来训练它，而是gpt自己独立“学”到的。特别有意思的是和gpt说let’s do it step-by-step  然后之前不能解决的复杂问题就解决了。如果数学问题回答得不好，那就给它prompt 让它写代码求解，然后就work了，这就是从chain of thought 到 Program of Thoughts Prompting，这些现象连gpt的创造者们都不曾预料。
2 创造力：ai可以原创，可以发明，可以发现人类尚未发现的规律，甚至可以联想和“突发奇想”产生灵感，比如alphago人类无法理解的棋风和gan的艺术创造力。openai让arc评估了gpt4早期未微调版本的自我复制，资源和权力掠夺，防止被关停等方面的能力，至少早期版本还是安全的。不过也有一些隐含风险，比如会自主生成从未指定或训练过的目标，以及为完成这些自我意图制定长期计划。
3心智水平：心智理论（Theory of Mind），简称ToM，是指人理解自己和周围人心理状态的能力。我们也可以简单地理解为‘同理心’。斯坦福大学计算心理学教授Michal Kosinski 评估gpt3.5就已经达到9岁儿童水平，已经可以预测复杂人类情感。
4多模态：gpt4的多模态已经官宣发布，其实即便gpt4没有引入多模态，cv，cnn，视觉语音识别等等已经做好的框架接入gpt做出多模态不是什么难事，核心还是gpt的逻辑能力。未来如果多模态gpt嵌入到boston dynamic, Musk的擎天柱通用机器人之类的硬件系统里还是很有趣的。

5通用性和专业性：人们认为“通用的不专业，专业的不通用”，但gpt表现出的通用和专业性已经被广泛证实，比如美国sat律师医生谷歌码农测试等等，太多beat human的报道就不多谈了。这里提一下，除了github的gpt4 copilot x嵌入开发环境之外，gpt和azure openai还允许各个企业把自己的开发框架之类的给gpt做fine tuning成为你的专属gpt，然后在部署在cloud上让gpt使用你们公司的框架编程，Azure云服务这方面的资历不需要讨论了。bard嵌入google以及new bing的竞争将深刻改变搜索和互联网入口，而chatgpt plugin是专用性拓展的app store，用来构建gpt生态和宇宙。

6 迭代速度，sam altman提到的ai摩尔定律正在被一步步验证，从2022年下半年开始这种速度让比尔盖茨和马斯克都震惊。也可以看到在openai的带动下让更多大厂转入探索agi的可行道路，openai前几年的探索和坚持值得称赞。
7 可商用性，风险和可持续发展性：其实gpt这种从nlp入手的agi探索之路要比元宇宙或者自动驾驶等等可行性高，虽然也有风险但比自动驾驶小，同时也比元宇宙技术成熟，只要初步成功不用等到完全成熟就可以直接集成到产品里作为辅助工具了，从多种渠道改变产品生态提升利润，然后反过来继续升级ai，这样loop下去，商业运营上是一条可行的路，所以微软才all in了（虽然没明说）

AI复兴的开山鼻祖Hinton论文说大脑的神经信号传递算法neural gradient representation by activity differences NGRAD就是人脑的反向传播bp算法神经回路，不管是否最终可被证实证伪，但目前一篇paper已经把gpt4定义为早期agi了https://arxiv.org/abs/2303.12712

补充内容 (2023-03-27 01:48 +8:00):
上面那个pgt4=agi的paper有个被删减的彩蛋 ;-)

https://twitter.com/nearcyan/status/1639029957702590464

补充内容 (2023-03-27 17:50 +8:00):
通用人工智能的火花：GPT-4早期实验
paper的内容精选和翻译，供大家参考
https://orangeblog.notion.site/G ... 7efb92cbbd668c8c893

微信用户_de75404 发表于 2023-3-25 15:37
老哥可以预测一下这一波生产力革命对码农就业市场的影响吗？

不知道怎么预测，只是觉得不管是ng , junior  senior还是地主，关注一下ai进展不是坏事。

比如刚加入openai的特斯拉前AI总监Andrej Karpathy说：
...it already writes ~80% of my code, ~80% accuracy. I don't even really code, I prompt. & edit..

https://twitter.com/karpathy/status/1608895189078380544
而那时候copilot还是openai codex gpt3，最近已经升级到gpt4了


哈佛cs教授google工程主管 Matt Welsh说 ChatGPT和GitHub Copilot预示着编程终结的开始。生成式 AI 将在 3 年内终结编程。代码是脏活，让 AI 来做。coder要演变成 AI 的“老师”或者产品经理，或者代码评审。
https://thenewstack.io/coding-su ... -end-of-programming

也有很多人认为ai仍旧有待观望，让子弹飞一会。

run_fastfast 发表于 2023-3-25 16:40
gpt和深度学习没关系。。？

当然是深度学习，也都是基于bp算法，ann cnn rnn lstm gpt bert 各种nn都是，只不过调参的方式不同。
简单说就是目标参数不同，其实说白了AI这东西你想调哪就调哪，关键是为什么要调那里。。。

匿名用户 发表于 2023-3-25 15:49
AGI时代下的生存法则：
1. 在twitter上发帖，表示GPT increase the productivity x1000，if it does not ha ...

其实ai的原理很简单，activation function的本质是什么比如何理解大脑神经元之间神经冲动传递超过阈值threshold后形成的各种信号分析简单多了，也不会比搞清楚相对性原理量子力学之类的东西复杂，但是工程技术实现是关键，从不同的ai算法到大规模gpu tpu部署，RLHF到fine tuning，zeroshot prompt能力，还有高质量语料收集清洗，etc 很多都是工程学范畴技术难点。所以一直再说从science 到 engineering最重要的是可实现性，也就是落地。也没必要一定要完全搞清楚人脑再来搞ai(当然deepmind ceo Hassabis这种人属于想改变世界级别的，另当别论 ;-)）   话说Hassabis说自己想找到一个方法，解决所有问题有点像爱因斯坦的大统一理论，结果可能却被openai给搞成了 ，这段时间deepmind也在做llm，lecun bard 甚至baidu 百花齐放不是挺好

不想取名字00915 发表于 2023-3-25 17:23
这个跟 柯洁输棋给alphago可是有本质差别的。因为极少极少人靠围棋吃饭，但是很多人（全球十亿人总有吧  ...

感觉全面取代码农短时期是不可能的，也不会取代医生律师等等，价格成本是一个重要因素，gpt3训练一次都超100万美元了，更大的llm1200万刀，这个市场不可能让ms一家垄断，国家层面也不许。别说医生连护理都不会取代，马斯克总说自己的擎天柱机器人太贵，一定要降价到2万，觉得他任重而道远 ;-)

不过还是觉得关注一下ai没什么坏处，总低头拉磨也要偶尔抬头看路。

补充内容 (2023-04-04 01:34 +8:00):
nn使用成本也高于query，幻觉hallucination也是问题。。。短期不会取代什么职业，但会有一定影响

匿名用户 发表于 2023-3-25 17:44
一股子民科味，事实上gpt对复杂的sql需求都没法解决，更不用说具体业务转化的需求了
各种optimization，随 ...

很多人对gpt的promt有误解，其实promt engineering 并不是简单的说人话，而是背后的逻辑表达，比如说lets do it step by step 不是说哄哄ai它就知道怎么干活，而是非常有意思的ai研究领域，也就是如何构建和引导ai的chain of thought (cot).
而Program of Thoughts Prompting可以让ai通过写代码解决它一开始无法解决或者出错的math问题，其实这个PoT理论反而是码农的强项 :-)

cswords 发表于 2023-3-25 19:20
为啥不聊了呢哈哈哈给你个米继续聊

哲学太枯燥，就像这种什么ontology还有什么量子塌缩这些东西空谈太无聊了。我们是人，这个智商只能只能观察，观察之前那个本体是个什么东西，为啥光有波粒二象性，why i^2=-1, 这些是哲学现象，但本质是人的智力可以理解的吗？哲学说什么通过现象找本质，但不懂虚数空间本质究竟是神马东西不也做出傅里叶变换fft和信号变换手机普及了吗？所以像与其纠结于薛定谔的猫还不如就按照不可理解不可解释的理论动手做，不也可以把量子计算机搞出来吗？那不可以解释ai的blackbox，不也做出gpt了吗？

匿名用户 发表于 2023-3-25 19:49
“”“”当然是深度学习，也都是基于bp算法，ann cnn rnn lstm gpt bert 各种nn都是，只不过调参的方式不同 ...

transformer 当然也是基于bp和dl理论， 再往底层理论深究就是bayesian这些，但是演化为不同的nn结构。稍微说一下为什么？就是因为他们的目的不同，transformer 这些是attension，抛弃了lstm那3个gates。。再说说为什么不要了呢？因为你教会ai如何forget和remember在context的情况下还是不行。本质其实都是简化+挖掘，pca也是这个目的，但不是nn算法了，而且pca搞起来头大 :(

xcmax123 发表于 2023-3-25 21:27
我曾经当面问过ml 大佬，Michael Jordan，如何让当前的ml系统更智能，他说这些系统根本没有智能。

那就要看什么叫智能，人的大脑如何运作搞不清智能这个词有时不好定义，图灵测试不也是被其他的AI测试方法质疑么，智能不好定义那如何测试智能自然就会理论繁多。

说个花絮，intelligence 这个词翻译成中文是智能，但也有information的意思( 比如 CIA   -_-!  )。。掌握了对信息的处理逻辑算不算智能，模拟的智能算不算智能？那人又如何区分呢？

sam的interview
https://youtu.be/L_Guz73e6fw

最后再附上码农关心的gpt4在leetcode上的分数

Ilya Sutskever(OpenAI Chief Scientist):
if you believe in deep learning, deep learning will believe in you!
https://twitter.com/ilyasut/status/1412070120600469505

对openAI首席科学家Ilya的访问也很有意思，感兴趣的可以看看：  

https://lifearchitect.ai/ilya/

Jensen: Ilya, people say that deep learning won’t lead to reasoning. That deep learning won’t lead to reasoning. But in order to predict that next word, figure out from all of the agents that were there, and all of their strengths or weaknesses or their intentions, and the context, and to be able to predict that word, who was the murderer, that requires some amount of reasoning, a fair amount of reasoning. How is it that it’s able to learn reasoning? And if it learned reasoning, one of the things that I was going to ask you is of all the tests that were taken between ChatGPT and GPT-4, there were some tests that GPT-3 or ChatGPT was already very good at. There were some tests that GPT-3 or ChatGPT was not as good at. That GPT-4 was much better at. And there were some tests that neither are good at yet. I would love for it. And some of it has to do with reasoning, it seems, that maybe in calculus, that it wasn’t able to break maybe the problem down into its reasonable steps and solve it. But yet in some areas, it seems to demonstrate reasoning skills. And so is that an area that in predicting the next word, you’re learning reasoning? And what are the limitations now of GPT-4 that would enhance the ability to reason even further?

Ilya: You know, reasoning isn’t this super well-defined concept. But we can try to define it anyway, which is when you maybe, maybe when you go further, where you’re able to somehow think about it a little bit and get a better answer. Because we’re reasoning. And I’d say that our neural nets, maybe there is some kind of limitation which could be addressed by, for example, asking the neural network to think out loud. This has proven to be extremely effective for reasoning. But I think it also remains to be seen just how far the basic neural network will go. I think we have yet to tap fully tap out its potential. But yeah, I mean, there is definitely some sense where reasoning is still not quiet at that level as some of the other capabilities of the neural network. Though we would like the reasoning capabilities of the neural network to be high. Higher. I think that it’s fairly likely that businesses usual will keep, will improve the reasoning capabilities of the neural network. I wouldn’t necessarily confidently roll out this possibility.

匿名用户 发表于 2023-3-27 03:45
我觉得gpt变成人之前他要回答
1. GPT 有主观意识吗？
2. GPT知道它存在的意义吗？它有自己的追寻的使命吗？ ...

其实这个问题确实大家都在问，简单谈一下自己的想法，比较枯燥，不喜勿看 -_-!

现代科学也叫实证科学，现代计算机科学之父是图灵/冯诺依曼。其中图灵ai测试"The Turing test, originally called the imitation game by Alan Turing in 1950, is a test of a machine's ability to exhibit intelligent behaviour equivalent to, or indistinguishable from, that of a human" 就叫“模仿游戏”。为社么要“模仿”？因为对于“智能”我们无法定义，就像前面哲学帖子里说的，事物的“本体”是无法证实其存在的，我们只能去观察和测试，所以才叫实证科学。如果ai能“表现(模仿)”出人无法区分的智能，那我们就无法区分对面是人还是机器。

似乎哪里不对？很多科学理论都先猜想才求证测试，为什么图灵只测试？现在也有很多理论觉得图灵测试不够完备不够全面。。。似乎有瑕疵。。。但理论信息学里的图灵测试的关键不是如何测试，背后其实是图灵在人类思维极限范围内做出的一个自洽体系：“智能”“意识”是不可能做出准确定义的，因为人类无法用“自己的思维”彻底搞清“自己的思维”，这就类似于数学公理不可求证。所以虽然数学上lim不是=，但趋近于智能已经是人的思维极限，100%智能是lim里不可取的那个点。

自然语言理解就被认为是AI完全（AI-Complete）问题，即机器能够完全理解自然语言也就达到了人类的智能水平，能够理解真实世界的一切。

比如回帖无法区别是gpt还是人回的，那gpt不就是图灵测试通过了吗 ;-)

匿名用户 发表于 2023-3-28 20:13
打工人越努力帮公司打工，公司越赚钱，越投入更多资金在AGI，打工人越早被替代（手动狗头）

现在只是ai时代的开端，了解一下ai，有兴趣就学习利用一下ai技术，没兴趣也不必焦虑，如此而已。
与其担心未来不如做自己，就像sam altma访谈里说的：这年头鸡汤太多，做自己想做的就ok。

AGI时代下的生存法则：
1. 在twitter上发帖，表示GPT increase the productivity x1000，if it does not happen, you are using it in a wrong way。

2. 在udemy上发表关于prompt engineer的课程 向普通人兜售。

3.发布对技术展望的报告，并发布推动各个行业AI化变革的报告，向企业兜售。

4.煽动对AI 的恐慌，宣传AI safety的重要性，找zf要funding。

5.在一亩三分地上发帖，对所有怀疑的GPT ，质疑GPT不是AGI的人进行各种反驳，复读openAI和微软的各种research。
并表示
  码农 看到GPT 你们 焦虑了嘛，
  医生 看到GPT 你们焦虑了嘛，
  律师 看到GPT 你们焦虑了嘛，
   HR 看到GPT 你们焦虑了嘛。

综上所述 在AGI时代，为了减少焦虑，尽量减少看一亩三分地上带GPT的帖子，向chatgpt 下跪，向openAI低头，每天晚上睡前祈祷奇点早点降临。只要看到，学术界的酸🐶，比如Lecun，都要洗洗眼睛，一起和openAI 迎接不可避免的未来。

补充内容 (2023-03-26 00:13 +8:00):
看到底下有人指出chatgpt也是基于deep learning，质疑了相信gpt未来的人，层主对这种行为表示谴责 ！！！
我们楼主他虽然把ann， cnn， rnn，lstm， gpt，bert 全都当成nn模型并列在一起，但这种细节差错，不会影响未来agi 势不可挡大趋势的 ！！！！！我们一定要相信未来 ，并对这些学了点东西孔乙己酸狗进行谴责 -`д´-。

补充内容 (2023-03-26 02:08 +8:00):
楼主忘了😭，大家都关心如何参于到ai时代的财富分配：

6. 把网名从.eth改成.GPT，把简介里的web3改成AGI。据说这样有助于把财富再分配给别人 💰💰。

只能帮到这里了，谢谢大家🌹🌹

补充内容 (2023-03-26 12:25 +8:00):
还有，谢谢楼主，给你花花 🌹🌹，以后给你加米。

补充内容 (2023-03-28 06:07 +8:00):
这是GPT4对我这段文字的评价：
“  作者在这段文字中表达了一种讽刺和戏谑的态度。他通过描述一些在AGI时代下的生存策略和行为，以及一些夸张和荒诞的建议，来揭示了部分人对人工智能通用性（AGI）过度炒作和盲目跟风的现象。同时，作者以幽默和调侃的语气回应了那些在这个领域中过于乐观或对未来充满恐慌的人。

这段文字中，作者试图传达出一种对当前AI热潮的质疑和反思的情感，提醒大家保持理性看待AI技术的发展和影响。“

incredible ! 对不起了楼主， 给你心心 ❤️，🧎‍♂️，我也有点点焦虑了。

最近几个帖子，怎么基本都是拾人牙慧把几篇文章的说法做个摘要没什么自己的思考？下次再点进来看算我输

我觉得最后一段很奇怪。人脑的模型结构和参数权值难道不是通过不知道多少年的自然选择进化来确定的吗？为什么要说什么反向传播什么的。

新一轮康波要开始了
遗憾的是和之前几轮不同，这一轮消灭的岗位要远多于创造的岗位
社会要适应生产力发展，那变革一定会随之而来

匿名用户 发表于 2023-3-25 15:11
我觉得最后一段很奇怪。人脑的模型结构和参数权值难道不是通过不知道多少年的自然选择进化来确定的吗？为什 ...

这是Hinton教授的一篇探索性paper 感兴趣可以看看: 想从数学层面分析人脑生物信号逻辑 ：https://www.nature.com/articles/s41583-020-0277-3

不过感觉与其研究人脑生物生物电信号如何运作，不如专注于如何提升ai运行的实际效果

匿名用户 发表于 2023-3-25 15:18
最近几个帖子，怎么基本都是拾人牙慧把几篇文章的说法做个摘要没什么自己的思考？下次再点进来看算我输

思考是建立在数据的基础上，这帖子就是总结一下最近看到的数据，欢迎思考讨论反驳。

匿名用户 发表于 2023-3-25 15:18
新一轮康波要开始了
遗憾的是和之前几轮不同，这一轮消灭的岗位要远多于创造的岗位
社会要适应生产力发展， ...

其实openai的Sam Altman就是 Universal Basic Income的倡导者，有兴趣可以看看他的文章：

https://moores.samaltman.com/

Sam Altman 认为，未来五年内（文章发表于 2021 年，也就是2026 年之前），AI 将能够思考，能胜任律师和医生的岗位；未来十年内，机器人将能从事流水线工作。接下来的几十年，AI 和机器人将能做任何事情，甚至包括自己做出新的科学发现。

Sam Altman 的解决方案是给每个人无条件发钱，即 Universal Basic Income，UBI。成立一家名为 American Equity Fund 的基金，每个成年人都是股东，并在每年得到分红。基金的资金来源是公司税和土地税。市值超过某一门槛的公司，每年须将价值当年市值 2.5% 的股票转移到基金中；地产税是当年土地价值的 2.5%，以现金的形式支付给基金。

老哥可以预测一下这一波生产力革命对码农就业市场的影响吗？

其实不管每个人如何认为如何对待，ai时代sooner or later 都会到来，对于每个普通人来说，与其像工业革命早期砸毁机器的路德运动Luddites那样做，不如利用自己的能力和技术去试着探索新的发展方式。至少现在还不会取代人类，好好利用AI没什么坏处。