这次 gpt 的 hype 还不如alpha go

匿名用户 发表于 2023-03-18 19:22:14
CloseAI他们对外宣传为论文:)

叫Technical report吧，就是blogpost的加长版。

well,  但 gpt 推出plugin了，看来sam想把产品做成流量入口，如果成功确实对🐶有一些威胁。不过很多app并不是为了实现某个特定功能，而是为了kill time，同时人还想对选择保持一定的控制，不知道gpt怎么做到这点。还有人也想产生内容，也想和别人发生联系，这是符合tech的生态。不过gpt + wolfram alpha确实是个好应用。
很好奇目前产业的反应，毕竟靠gpt的话app ui就显得没有意义了，所以llm分配流量也是个重要的问题。但考虑到openai如此的close，llm的各种缺陷，对他们能不能处理好对产业的影响保持怀疑。

过了一周，看到了更多gpt4 不稳定的例子，llm稳定性依然是个大问题，个人认为llm这个稳定上限不会太高。而且有人也发现gpt4就是干脆记忆了答案。。。。目前它generalization能力还是不够强。
同时他们又要停用codex，进一步封闭了。但不否认gpt4比同类产品都稳定，个人怀疑其实openai用了好几个模型，有transformer-based，还有别的传统方法based，只是不好意思说出来。

补充内容 (2023-03-25 09:53 +8:00):
曾博比我说的好多了：
https://twitter.com/bboczeng/sta ... HwWgIDUnbe7usAtAAAA

匿名用户 发表于 2023-3-24 12:10
well,  但 gpt 推出plugin了，看来sam想把产品做成流量入口，如果成功确实对🐶有一些威胁。不过很多 ...

其实真的觉得太多人后知后觉挺奇怪的。

抛开那些故意标新立异语不惊人的类型，很多专业人士也持类似观点，真让人觉得知识多了有时候也许会成为阻碍。。。

如果是alpha狗其实还可以理解，真正懂围棋的就是个小的不能再小的小众，解决方案又无法普及到大众。这个GPT 直接做到了普通人的指尖，但凡用一下就能马上对比Siri/Alexa这些脑残，再来几个来回发现真能对话，这还不觉得惊悚。。。

所有的批评都是“上个月”，“这周"，好像并不在意这些词代表的时间维度。。。

alphago就是相当于围棋可以模拟成一个优化函数，
gpt能解决很多通用问题，scope大多了。。。

匿名用户 发表于 2023-3-24 19:29
alphago就是相当于围棋可以模拟成一个优化函数，
gpt能解决很多通用问题，scope大多了。。。

你说的是没错，但是要解决围棋的问题，不是predict the next token 那么简单。

匿名用户 发表于 2023-3-24 18:19
你说的是没错，但是要解决围棋的问题，不是predict the next token 那么简单。

chatGPT 就是predict next token？
很简单？？

现在多少人天天在用gpt？
当初alpha go多少人天天在用？
还说是hype？

匿名用户 发表于 2023-03-24 18:19:36
你说的是没错，但是要解决围棋的问题，不是predict the next token 那么简单。

你这学生思维也太严重了。技术厉害不厉害，简单还是难是一方面，实际应用是另一方面。alpha go 有几个人用得到？这种东西不可能盈利当然不如开源给大家更多兴趣来研究，也赚的一些reputation. chatgpt完全可以盈利为啥要开源….还有LLM也不是predict the next token, 只有在做NLG task的时候是predict the next n tokens…..

补充内容 (2023-03-25 12:12 +08:00):
“透明度”这个问题……我不觉得它有义务提供透明度。好用不好用市场上放出来，用户够多就说明一定问题了，其他的东扯西扯我不知道有什么意义。

匿名用户 发表于 2023-3-24 23:46
chatGPT 就是predict next token？
很简单？？

看你怎么frame 这个问题，它就是predict the next token，您自己去看看ilya的一系列访谈，为了产品稳定性做的rlhf。模型基础是transformer-based。但是predict the next token可以被frame 成多个问题，这就是llm神奇的地方。

人类智商测试也是predict the next token。
predict the next token 也可以让模型来对信息进行压缩，把一段信息压缩到极致，是不是就可以说明模型已经理解了这个问题呢，比如不需要靠统计方法二是直接利用+, -的规律来进行推理。

ilya这一点确实比别的人高明，但我对目前模型的潜力仍然不看好。

补充内容 (2023-03-25 13:09 +8:00):
predict the next token 到对世界representation的compression，是我根据ilya的访谈推出来的 还有之前lex对一个人的访谈，这可不是我说的，我只是提一个plausible的理解，这是怎么从技术和原理上做到的我也不懂，别喷我，：
https://www.youtube.com/watch?v=ZZ0atq2yYJw

匿名用户 发表于 2023-03-24 21:11:23
看你怎么frame 这个问题，它就是predict the next token，您自己去看看ilya的一系列访谈，为了产品稳定性做的rlhf。模型基础是transformer-based。但是pre

“predict the next token 也可以让模型对信息进行压缩”？？？
信息读取是encoding process,你说的对所谓“predict the next token”是decoding process，这两个可以是完全独立的模型。
能不能不要看两个视频就来大放厥词了😓