你们说现在nlp的research还有什么搞头？

总会有新模型的，现在没有不代表以后没有，self attention被提出之前还没有self attention呢

怎么说呢，大力出奇迹是一种办法，四两拨千斤才是进步

兄弟, 格局要大,  虽然大多research 都没啥用, 但是只要出一个革命性的, 那就改变世界了.

普通人，小厂以后基本都只能call api了。要做nlp大佬坑位会越来越少，还好我选择躺平了。

奔着当下应用去难免会觉得做什么都没意思。但要是想推动三五十年后人类文明的进程，值得探索的东西还很多。

run93 发表于 2023-01-27 10:42:28
现在各大顶会没有提出超越selfattention的东西，没问题，我认同的，这代表的就是机遇，你如果潜心研究提出一个，你就是新一代大佬啊，没有人天生就是大佬的。。。我还是要回到之前的讨论，请问你是如何

同意你。不明白lz到底想问什么。

一般来说别人挖个大坑自己开小坑或者填坑才是搞学术的常态吧 ，lz的意思很像是说除非搞出一个超越self-attention/transformer的mechanism/structure，其他的research topic都没啥搞头。。只能说志存高远

flyaway1217 发表于 2023-01-27 07:55:44
对大模型进行explainable的分析也是一个近年来比较火的方向

火的水车方向

目前transformer确实工程化已经相当成熟了，但是还是有很多有待改善的地方。有些时候自相矛盾和缺乏深度逻辑。还有上面有人说的casual reasoning相关的还是有的搞的。

楼主很像刚开始读phd时候的我，读了两篇论文就觉得“学术界也不过如此嘛”hhhhh


说个题外话，我记得有一次和导师meeting的时候我跟她说这个Project遇到了一个几乎没办法解决的问题，因为blabla，要不换个方向吧。导师安静地听我说完，然后说，我觉得你说的话恰恰说明了这是一个值得研究的问题，如果很轻松就能解决，又有什么研究的意义呢？——楼主的问题同理。