你们说现在nlp的research还有什么搞头？

送你一个组合词：

Data-centric

LLM的knowledge（factual knowledge、math knowledge等等）、safety（比如输出的内容安全不冒犯）、reliability等等问题都还有很大的探索空间。如果说只想改进基础架构，比如加各种adapter那种的确是过时了、或者说一开始就没什么意义，不过如果有什么结构能超越self-attention，我觉得可能也还是有点做的，但做那种需要非常的能力和运气。

我自己就是 in-context prompt 这一块儿的，个人感觉这里其实很有文章可以做。in-context 做 parameter frozen 但是的确能提升效果，可能真的是因为有浅层记忆被修改，从而涨点。这个在认知学上是有明证的，我也希望能试试找到关联，改善现有的 finetune 和 in-context 的方法

小模型，低资源，可解释，generalize，暂时想到的

my 2cents: how to compress these gigantic LLMs without much performance loss

其实挺多人和楼主一个态度的，堆数据堆机器大模型，小lab没法玩了

youlegelin 发表于 2023-1-27 18:11
楼主很像刚开始读phd时候的我，读了两篇论文就觉得“学术界也不过如此嘛”hhhhh

搞不好毕不了业

对像楼上说的 大model到小model， pruning/sparsity方面有实际意义，虽然到硬件上能加速多少 依赖很多变量

在加上各种self-supervised learning,  RL方面的吧

真好。没有想到有这么多 LLM 的同行。

补充内容 (2023-01-28 13:41 +08:00):
不过可能是题外话，研究兴趣不就是个人喜好吗。

最可怕的是研究生上的ML课程的NLP用的都还是上个世纪的理论。。