这次 gpt 的 hype 还不如alpha go

帖如其名。gpt4 发布了，看着好厉害，可惜那个gpt4论文啥都没说。实际上，根本没办法引发什么第四次工业革命。还打倒谷歌，tiktok都比openai对谷歌更有威胁。而且这个东西有三个问题，一个版权，一个是稳定性，一个透明度。

其中版权问题说不定会影响整个互联网行业，至少谷歌给别人引流，closeai的chatbot 直接拿别人答案，这样会引发很多社会问题，到时候互联网可能被锤。

理由：

openai的训练数据很可能就包含了测试数据。不否认模型存在所谓的“推理能力”以及“理解能力”，当然在楼主看来那个推理能力可能就是通过prompt给某个probablistic chain加权的结果。


但是如果仔细看它在几个测试上的成绩就会发现问题：

leetcode和codeforce成绩不匹配。更神奇的事情是 amc 10 成绩6th-10th， amc 12 成绩 45th - 66th 。amc 12明明就是加强版的10。某closeai是不是在训练数据里参杂了测试数据，但是不想让大家知道就故意不disclose training data。openai甚至可能用了不少版权数据以及来源比较灰色的数据。以后保证饭碗的办法就是不上网讨论方法。有兴趣的同学可以自己制造一些简单但是语言比较复杂的规律分析题，gpt4很容易就broke了。

稳定性：现在ai行业的人用HALLUCINATE 来包装这个模型犯错，故意把模型拟人化，就是营销手段。明明就是犯错还hallucinate。哪天ai医生把人治残了，closeai是不是就要说这只是我们系统不小心hallucinate。谷歌alphago至少真的打败了人。但这个chatbot generalization能力， 一言难尽。。。

透明度：closeai 的gpt4论文简直是最神奇的论文: Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar. 居然能如此自信的承认自己搞黑盒子。

楼主承认gpt有用，对娱乐 法律 处理 都很有用，至于什么第四次工业革命，别想了，现在一堆制造业企业信息化都很落后，安装个原理不明的chatbot，到底有啥用。现在还有一群人大谈强人工智能， 涌现， 还有各种哲学问题。初中生还问怎么加入人工智能行业。楼主希望各位能在这个hype里找到对自己有用的东西。也希望科技能真正造福大家，而不是让企业把普通人layoff。

补充内容 (2023-03-19 05:20 +8:00):
这里面其实还有一些社会问题，让ai chatbot问题更复杂，美国社会也不如从前，未来政策对tech不知道会不会有的pushback，尤其如果美国开了收购tiktok先例，未来别的国家会不会用同样手段对付美国互联网企业，这在我看来才是谷歌包括微软等大厂最大的风险。

而sam altman，真的太飘了。。

匿名用户 发表于 2023-3-18 10:09
Alpha go就是在一个极度有限的空间内，玩了了规则极度简单明确的游戏而已，并
既没有解决任何生产生活的实 ...

第一，围棋问题其实相当复杂了，比很多语言任务还有复杂，最近有人利用围棋ai缺点把ai下赢了，新闻在ft上。
第二，我不靠追这些hype 吃饭，别发表诛心之论。
第三，deepmind的强化学习style在科学上已经整出不少成果。
第四，gpt很有用，但绝对不像closeai宣传的那样是通往agi之路，lecun的部分批评是对的，closeai难看的是吃相，它自己的方法也受了谷歌各种研究以及ai community的启发，如今却搞封闭，这对整个ml/ai 的发展是没有好处的。
第五，大模型之上已经寄生了一堆垃圾论文，希望ilya sutskever 他们能搞出一个合理的方式来方便大家做研究，而不是神秘主义，lecun的fair至少开放了自己的语言模型。

补充内容 (2023-03-19 22:48 +8:00):
原post里没有提的，还有一点就是sam altman把自己的技术吹像核武器一样，这会给tech带来相当高的政策风险：
https://twitter.com/npparikh/sta ... HwWhoC2qeH0g7ctAAAA


这对在tech工作的各位，尤其是华人，到底有啥好处。。。。

well,  但 gpt 推出plugin了，看来sam想把产品做成流量入口，如果成功确实对🐶有一些威胁。不过很多app并不是为了实现某个特定功能，而是为了kill time，同时人还想对选择保持一定的控制，不知道gpt怎么做到这点。还有人也想产生内容，也想和别人发生联系，这是符合tech的生态。不过gpt + wolfram alpha确实是个好应用。
很好奇目前产业的反应，毕竟靠gpt的话app ui就显得没有意义了，所以llm分配流量也是个重要的问题。但考虑到openai如此的close，llm的各种缺陷，对他们能不能处理好对产业的影响保持怀疑。
. From 1point 3acres bbs
过了一周，看到了更多gpt4 不稳定的例子，llm稳定性依然是个大问题，个人认为llm这个稳定上限不会太高。而且有人也发现gpt4就是干脆记忆了答案。。。。目前它generalization能力还是不够强。
同时他们又要停用codex，进一步封闭了。但不否认gpt4比同类产品都稳定，个人怀疑其实openai用了好几个模型，有transformer-based，还有别的传统方法based，只是不好意思说出来。

补充内容 (2023-03-25 09:53 +8:00):
曾博比我说的好多了：
https://twitter.com/bboczeng/sta ... HwWgIDUnbe7usAtAAAA

Alpha go就是在一个极度有限的空间内，玩了了规则极度简单明确的游戏而已，并
既没有解决任何生产生活的实际问题，也没有在后续发展中inspire更多类似的新的idea发生。

Alpha go就是一个臃肿版本的深蓝电脑，其影响力其实还不如深蓝电脑。拿Alpha go跟ChatGPT比，就是拿开瓶器跟iPhone手机比。前者功能专精但单调，而后者明显不是只能打电话。

AlphaGo真正让楼主喜欢的，就是虽然花了谷歌几亿几十亿重金研发，却在论文里掏心掏肺开源代码一览无余，这样抄起来才能丝溜顺滑，各种寄生在其上的论文批量生产如雨后春笋，各种自主研发企业的仿冒demo如过江之鲫实现了井喷。

说挺好的，有兴趣的人可以看下https://twitter.com/cHHillee/status/1635790330854526981
GPT是个很好的工具，可以帮助人类但不是世界末日，不是给人带来焦虑，某些气氛组更不应该通过给别人带来焦虑来获得流量。

楼主对chatgpt的批评还是有道理的（alpha go我不懂不做评价）
chatgpt收集信息的翻译或者复读机，并不能真的创造。能回答leetcode因为喂了答案给他，新题给他就不会了
然后chatgpt的论文我也看了，基本就是demo集合的展示，没有技术细节，无法复现。这个就叫presentation吧可别叫论文了

OP慌了   

匿名用户 发表于 2023-3-18 01:43
OP慌了

气氛组又来了

这是高级黑么~~~

要是OP 真这么想，那真不该匿。要知道，极端的狭隘短视（尤其是有亲身体验之后）和极富有远见一样是可以留名历史的---当然骂的也要够水平才行：）很多时候故意标新立异语出惊人是实力不够没有自信而已。。。

还Alphago，微软自比这是iPhone时刻，其实都是understatement。只是实在不好意思自诩工业革命而已。
还版权，大家都是码字而已，怎么你码的就不算是人云亦云嚼人剩余了。是原创还需要匿么么~~~
还论文，深度学习哪个没论文没github开源？故意这么搞就是有信心狗🐕短期内复制不出来，牛的不要不要的
AI圈子就这么小，牛人就那么几个，眼皮子底下至少搞了一年多没被发现，共军大大地狡猾~~~

一年后再来revisit 把，看看🐕家还剩多少搜索份额

chooselife 发表于 2023-03-18 04:01:45
这是高级黑么~~~

要是OP 真这么想，那真不该匿。要知道，极端的狭隘短视（尤其是有亲身体验之后）和极富有远见一样是可以留名历史的---当然骂的也要够水平才行：）很多时候故意标新立异语出惊人是

GPT4是真的过不了一些语言逻辑有些绕的问题。这个我测试过，的确比同类产品更稳定。说它不如alphago 是因为alphago在16年的时候已经打败了当时人类的最高水平，虽然现在和它同类的系统还是被攻破了，深度学习的系统有一些明显的缺点， 即使是image classifier也会被一些perturbation给影响。

Sam altman 他自己故意营销什么AI safety。然后掩盖自己公司到底做了什么，这点比谷歌alphago差远了。人家谷歌可是真的把技术分享出来了，的确有人会滥用大语言模型，但目前揭示的信息，远远不够分析，当然商业上它想怎么做就怎么做。但苏联当年都让英美国家来考察自己的核聚变技术，现在openAI把一个chatbot搞得这么神秘，它有没有信心让学术共同体来对它的系统进行一个部分的可靠的分析，少搞些 LLM没人能懂之类的鬼话。

还有我真的怀疑所谓的涌现和chain of thought不是一些故意营销的了论文题目term嘛，它的定义真的可以mechanically 用来描述系统嘛。最近在这个网站看到有人说微软的ML的人说openAI还有更智能的系统，好像还是最近讲的。也许真的有，但是这些话openAI的几个创始人之前也在推特上说过，让人感觉公关和营销的成分越大。
这真的是最大的黑点，大模型行业某些人，不管是硅谷还是某些斯坦福人用了一堆词语来包装系统，而不是尝试dymistify ，反而故意confound，这还有脸叫做research ，还真就让人搞崇拜呗，生物系统比大模型还复杂，还不是照样被拿来做研究，有本事就把自己的系统信息开放一部分，而不是现在这么搞。

某closeai的论文根本就不能叫开源，掩盖了大量的信息，这对ml的community影响太大了，已经无数人在喷了，有兴趣多关注下行业发生了什么 好不好。

匿名用户 发表于 2023-03-18 06:43:05
某closeai的论文根本就不能叫开源，掩盖了大量的信息，这对ml的community影响太大了，已经无数人在喷了，有兴趣多关注下行业发生了什么 好不好。

自己搞不出来，就埋怨是别人没有开放代码影响了社区发展；别人一旦放开了，立刻抄过来，然后宣布是自主研发。这逻辑简直完美LOL

匿名用户 发表于 2023-3-18 10:09
Alpha go就是在一个极度有限的空间内，玩了了规则极度简单明确的游戏而已，并
既没有解决任何生产生活的实 ...

寄生在llm上的垃圾论文还少了，看看现在什么ai safety, ai alignment，ai 心理学 那也能叫论文？？？？alphago 这个强化学习style帮助了后续很多研究。不否认openai作为公司可以不这么干，工程问题完全封闭是没问题，但至少透露一点metric和训练集的问题，也不至于被这样喷。