通用人工智能agi时代真的开始了

匿名用户 发表于 2023-3-25 19:26
你说的这个不就是赛博朋克吗，如果你玩过这个游戏的话就知道科技无比发达后已经没有政府国家的概念了，世 ...

我不玩赛博朋克哈，不过听闻过这个概念。没想到误打误撞哈哈
哎。真的希望世界能变化的慢点。。。

cswords 发表于 2023-3-25 19:20
为啥不聊了呢哈哈哈给你个米继续聊

哲学太枯燥，就像这种什么ontology还有什么量子塌缩这些东西空谈太无聊了。我们是人，这个智商只能只能观察，观察之前那个本体是个什么东西，为啥光有波粒二象性，why i^2=-1, 这些是哲学现象，但本质是人的智力可以理解的吗？哲学说什么通过现象找本质，但不懂虚数空间本质究竟是神马东西不也做出傅里叶变换fft和信号变换手机普及了吗？所以像与其纠结于薛定谔的猫还不如就按照不可理解不可解释的理论动手做，不也可以把量子计算机搞出来吗？那不可以解释ai的blackbox，不也做出gpt了吗？

“”“”当然是深度学习，也都是基于bp算法，ann cnn rnn lstm gpt bert 各种nn都是，只不过调参的方式不同。
简单说就是目标参数不同，其实说白了AI这东西你想调哪就调哪，关键是为什么要调那里。。。“”“”

楼主:(，AGI看到你这段话，它都要哭了😭😭，但这不重要。相信AGI的降临就行，反正什么神经网络结构啊，优化算法，留给学术界和业界的酸🐶 解释就行，楼主只需要preach，🙏🙏 。

reverselist 发表于 2023-3-25 19:27
一切chanllenge里价格是最不重要的

九几年大哥大一万块

感觉价格至少目前是工程和商业化关键，Musk搞可回收火箭不也是靠价格搞定nasa了吗？看新闻说lecun和Stanford大学也在想办法降低llm的训练价格，这就又回到了提升算法的关键问题，所以也挺重要的。

其他的障碍，比如各个国家反垄断机构 工会政党 天朝防火墙这些都不是吃素的。。

medex 发表于 2023-3-25 14:20
其实这种拆分复杂大问题到step小问题就是一种逻辑

问题是这是人给拆分的呀，如果机器自己会拆分那就确实厉害

medex 发表于 2023-03-25 08:01:19
不知道怎么预测，只是觉得不管是ng , junior  senior还是地主，关注一下ai进展不是坏事。

比如刚加入openai的特斯拉前AI总监Andrej Karpathy说：

那是不是意味着，3年内没绿的码农留美就再也没机会了。

匿名用户 发表于 2023-3-25 19:49
“”“”当然是深度学习，也都是基于bp算法，ann cnn rnn lstm gpt bert 各种nn都是，只不过调参的方式不同 ...

transformer 当然也是基于bp和dl理论， 再往底层理论深究就是bayesian这些，但是演化为不同的nn结构。稍微说一下为什么？就是因为他们的目的不同，transformer 这些是attension，抛弃了lstm那3个gates。。再说说为什么不要了呢？因为你教会ai如何forget和remember在context的情况下还是不行。本质其实都是简化+挖掘，pca也是这个目的，但不是nn算法了，而且pca搞起来头大 :(

匿名用户 发表于 2023-3-25 19:52
问题是这是人给拆分的呀，如果机器自己会拆分那就确实厉害

现在他们不就是在搞gpt自己给gpt promt的事情吗？这就像alphago 自己和自己下棋提高一样。

不想取名字00915 发表于 2023-3-25 19:28
我不玩赛博朋克哈，不过听闻过这个概念。没想到误打误撞哈哈
哎。真的希望世界能变化的慢点。。。

夜之城啊，哈哈，太酷了 ;-)

medex 发表于 2023-03-25 12:01:29
transformer 当然也是基于bp和dl理论， 再往底层理论深究就是bayesian这些，但是演化为不同的nn结构。稍微说一下为什么？就是因为他们的目的不同，transformer 这些是att

你是懂的….抛弃lstm 除了教模型长段记忆效果不好以外，最关键是lstm 要一个一个的读，transformer 是一次一个句子一起读进去，并行计算效率更高，而且读前面的token的时候也会考虑到后面的token, 而一个一个读取的话只能根据前面已经度过的信息去计算后面的token

补充内容 (2023-03-26 03:11 +08:00):
bert 和chatgpt 框架都是deep learning ,只不过在这个基础上加入了transformer 模块。 一般人会直接说transformer model 就不会提DL了，因为是比较特殊的一类模型

补充内容 (2023-03-26 03:13 +08:00):
现在已经有关于怎么做attention pruning来简化llm模型的研究了，也可以类比你提到的pca or forgot gate.