通用人工智能agi时代真的开始了

小亩_bcd19b6 发表于 2023-3-25 20:09
你是懂的….抛弃lstm 除了教模型长段记忆效果不好以外，最关键是lstm 要一个一个的读，transformer 是一次 ...

是的，就是在这个thread里一再说的科学到工程学的实现问题，rnn那套东西怎么高效实现并行让人头大啊 : (     那llm怎么落地呢？

AGI 已经到来，不接受的只是鸵鸟心态，甚至是无知而无畏。

medex 发表于 2023-03-25 12:14:36
是的，就是在这个thread里一再说的科学到工程学的实现问题，rnn那套东西怎么高效实现并行让人头大啊 : (     那llm怎么落地呢？

我觉得chatgpt模型上来说确实不够fancy，虽然没有开源也能想象到就是各种multihead transformers 的神经网络，但是在工程上能实现现在用户的体验我觉得已经非常非常牛逼了。很多人有点两极管，就是要么就是一文不值，要么就是马上取代所有工作，其实好像离这两端都距离很远…..

medex 发表于 2023-3-25 10:38
哲学太枯燥，就像这种什么ontology还有什么量子塌缩这些东西空谈太无聊了。我们是人，这个智商只能只能观 ...

我是觉得不上纲上线的话，随便引用一点自己懂的哲学理念没啥大不了的。能把观测和认知分开，本身就是一个找到本质的成功例子。在纯主观视角，哲学是说得通的。

关于好不好理解，我觉得分两种情况：1）是否反直觉；2）是否可解释。类似于波粒二象性、测不准原理那种，其实在数学上一点瑕疵都没有，只是反直觉而已。NN在可解释性上的缺陷主要指的是有时候无法feedback to human，作为端到端的estimator也丝毫没有问题。起码GPT知不知道它自己在说啥并不能掩盖它现在的出色表现。

未来。。。也许哪天NN也进化到很好解释很好理解的状态了呢。比如真的能在这个理论基础上实现兼容人脑的加速卡的时候，我们自己作为CPU一定要知道协处理器在干啥~目前看，当我们需要一个模型的行为完全可以解释时，用别的就是了。我PhD的题目基本上就是关于通用无监督模型的，所以绝不会认为NN是ML唯一的终点。

NND说到脑机接口，我讨厌马斯克，但没法否定这厮的嗅觉比狗还灵。

natalya 发表于 2023-3-25 20:15
AGI 已经到来，不接受的只是鸵鸟心态，甚至是无知而无畏。

可能是财富分配问题让人敏感了吧。。。但这个帖子其实只是想说说这个ai现象参考参考，随便聊聊而已别太当真了 :-)

cswords 发表于 2023-03-25 12:19:08
我是觉得不上纲上线的话，随便引用一点自己懂的哲学理念没啥大不了的。能把观测和认知分开，本身就是一个找到本质的成功例子。在纯主观视角，哲学是说得通的。

关于好不好理解，我觉得分两种情况：1）是否反

这个thread太难理解了，读的我头痛，不过会说情多说点！我也讨厌马斯克，可是人家又又又又踩对了这可咋办…..

medex 发表于 2023-3-25 09:49
感觉全面取代码农短时期是不可能的，也不会取代医生律师等等，价格成本是一个重要因素，gpt3训练一次都超 ...

GPT训练/升级一次1亿美金，不是取代一个码农，是干掉所有水平比它差的...

小亩_bcd19b6 发表于 2023-3-25 20:18
我觉得chatgpt模型上来说确实不够fancy，虽然没有开源也能想象到就是各种multihead transformers 的神经网 ...

我是觉得讨论中的再不靠谱的观点也可以说，比如码农都知道遗传算法需要变异概率，不然都100%遗传那不是近亲繁殖了吗？也米有创新了。。
gpt肯定不fancy，但至少有个好处是不内卷了，大开大合哈哈 :-) 觉得之前比如搞cv的那些组内卷太厉害了，每天就是为那几个百分点一堆paper，其实很多都是trick，算technolgy么？当然不是说李飞飞lecun他们啊;-)

cswords 发表于 2023-3-25 20:19
我是觉得不上纲上线的话，随便引用一点自己懂的哲学理念没啥大不了的。能把观测和认知分开，本身就是一个 ...

爱因斯坦一直反对波尔他们，还说上帝不掷色子。数学上可解释但是直觉上不可以直观理解，我认为这容易导致对理论根基研究还不充分的印象。物理学头上的乌云之类。。原来爱因斯坦总觉得这背后还有隐变量之类的，也是想将继续深究而不是只满足于数学自洽

小亩_bcd19b6 发表于 2023-3-25 11:24
这个thread太难理解了，读的我头痛，不过会说情多说点！我也讨厌马斯克，可是人家又又又又踩对了这可咋办 ...

我真的很讨厌马一龙！！！大家各自努力吧。。。生成式对抗网络死他。。。我就那么一说，口嗨。

现在的情况下，不管怎么搞AGI，都是独立训练的，没有社会性。换句话说，每个AGI即使是不同的人做的，其实跟我们由不同的爹妈生出来，由不同的老师教出来，与不同的朋友玩出来，有不同的肤色，有内卷，有相互争斗，有歧视，最重要的是有缺陷，还有很远的距离。没有性格，没有随机性，缺乏本质上的创造力。这样的智能注定平庸——相比真人。

本来创造人工智能就是要它们成为人类的帮手。但最终要实现这个目的，并不一定要他们像人一样沟通。在解决了和生物智能之间的兼容性问题后，脑机接口应该更高效、更可靠。。。马斯克这个人渣啊。。。。。。