你们说现在nlp的research还有什么搞头？

都是堆大模型，模型上超越self-attention已不可能，所以没什么可搞的了，chatgpt也是一个工程化的东西；multimodal，multilingual搞来搞去还是用transformer；in-context learning prompt这一套我感觉就不像科学；搞搞新的setting像什么human in the loop这种也是大花头；text-to-image aigc这些只有大lab能玩的起；nlp在其他各种花里胡哨的地方的application（social good，bio，political science等等）这种又没什么意思。
求大佬指点江山。

我想你应该知道现在我们学习和使用的算法代码都是2012年手写数字识别的算法爆火了以后研究起来的。在此之前，人工智能经历了两次起落。

在这第三次火起来之前，这些researcher是如何沉住气，在第二次人工智能的消沉中慢慢推进的？因为A模型打压B模型，就不继续改进B模型和研发C模型了吗？

Giveatry 发表于 2023-01-27 10:18:16
你也是个杠精 我都不爱回你 我帖子的意思是现在不太可能有 麻烦您去各大顶会上看看有多少能提出说自己超越self-attention的东西  别回复我了哥

现在各大顶会没有提出超越selfattention的东西，没问题，我认同的，这代表的就是机遇，你如果潜心研究提出一个，你就是新一代大佬啊，没有人天生就是大佬的。。。我还是要回到之前的讨论，请问你是如何因此得出你帖子第一句话“模型上超越selfattention已不可能”，有论文证明吗？还是说你认为一个东西现在没有就是不可能？

Giveatry 发表于 2023-01-27 09:37:30
求你反驳我吧 有任何一个LLM超越transformer架构的吗？能不能读读paper再回复我

现在没有LLM超越Transfoemers架构的研究，以后就不可能会有吗？还从原理上证明就不可能吗？求你发个从原理上证明LLM无法超越Transformers架构的论文看看。。。

对大模型进行explainable的分析也是一个近年来比较火的方向

从用户的角度来看，感觉NLP还有很多需要搞的

Research 角度来说，nlp近几年不如cv……应用角度另说

第一句就不同意，模型上超越self-attention已不可能，你是从哪得出来这个结论？剩下来每点都想反驳你，懒得打字

jkooy 发表于 2023-01-27 09:21:01
第一句就不同意，模型上超越self-attention已不可能，你是从哪得出来这个结论？剩下来每点都想反驳你，懒得打字

求你反驳我吧 有任何一个LLM超越transformer架构的吗？能不能读读paper再回复我

run93 发表于 2023-01-27 09:53:29
现在没有LLM超越Transfoemers架构的研究，以后就不可能会有吗？还从原理上证明就不可能吗？求你发个从原理上证明LLM无法超越Transformers架构的论文看看。。。

你也是个杠精 我都不爱回你 我帖子的意思是现在不太可能有 麻烦您去各大顶会上看看有多少能提出说自己超越self-attention的东西  别回复我了哥

补充内容 (2023-02-03 03:25 +08:00):
别说这些“啊你又没从数学上证明xxx真的不可以”这种就会他妈的从逻辑上给我找漏洞但实际上毫无意义的放屁的话了。你问任何一个做NLresearch的人问他怎么他妈的不去搞超越transformer的大新闻的研究？