到底有多少研究是 bullshit?

我发现最近越来越多学术造假被扒出来。与此同时，我发现20+年前的研究比现在的严谨很多，想法也很有创新性。我和身边的很多朋友都吐槽，看论文只能看2000年之前的。最近的论文很多结果有误导性，尤其神经领域。

我在MIT，身边有一半的朋友都说组里做的东西很有水分（主要是在神经，生物和计算机领域）。不知道别的地方是不是也这样？为什么会如此呢？

豆角焖笨蛋 发表于 2022-12-8 20:04
任何行业都有泡沫嘛，学术圈也一样，哪些价值不高甚至有错误的paper就是泡沫，最终会被时间洗掉的。所以， ...

我今年做了一个工作，和学术大佬的结果不一致。我仔细研究发现大佬用的数学算法很有问题，而我的算法是我自己为了这个问题花了半年时间写的。
我非常开心，想把这个结果发出来，纠正这个长达20年的错误。结果基本所有人都在阻碍我，包括我自己的导师。因为整个学派很多工作都基于这个大佬的结论。
在我看来，大佬的结果有很多明显的错误，但是上千篇论文用了这个结论。我就很好奇，大家用结论之前都不验证吗？
我那时候对学术界好失望啊。不过现在好多了，我的老师终于同意一起发表这个结果。
但这样的事情其实完全不应该发生，如果所有审稿人都能好好看，或者所有作者都能尊重科学，一切都会好很多。

yep，99%的paper都是垃圾。真的top的人瞄准的是那1%。Philip Guo在他的phd建议里面有提到读phd除了专心致志之外，重要的是要培育做科研的”taste”。要知道什么样的工作是华而不实的什么样的工作是真的substantial的。

大部分人都只能settle for华而不实的工作，毕竟这些工作其实更tenable，为了生活混口饭吃而已。只有少部分的人有毅力（吃的了苦），有privilege（不需要穷着苦着自己，学术pedigree优秀，跟着大牛），有运气（碰巧碰到对的idea了）可以做出substantial的工作。

bugman 发表于 2022-12-08 17:37:18
在我的领域，过去的学术比现在严谨多了。现在工具进步了，但是研究者的数学能力下降很多。btw，真不明白为啥近五年的论文，啥都套一个deep learning，然后啥也不解释，说的东西各种没道理。

数学重要，但是在不需要的地方盲目追求数学或者数学水平不够也要追求数学反而是本末倒置了。

比如deep learning圈子的reviewer们就有这种mathy的obsession，导致很多不需要那么多math formulation的paper也要硬塞些tangential的theorem啥的进去（见Lipton and Steinhardt, 2018 有关这些陋习的讨论）。而且这个圈子里很多reviewer们其实没有那么强的能力（强的reviewer没有那么多余力）可以择干净论文里的math错误，连Adam这个最受欢迎的DL optimization算法在原来的paper里给的proof都是错的，但这不影响它好用，所以一开始在paper里硬放一个强assumptions下的proof（还是错的）何必呢？也是为了迎合圈子的迂腐的口味。

以前的phd, 认真喜欢学习和搞研究的比例比较高。

近代的phd, 一群本科毕业了找不到工作，唯有继续读书咯。这人群比例越来越高。

99.999% bullshit. Lz曾混过学术圈，也发过顶级文章，现看起来100% bullshit，所以几年前退出学术，赚钱更多身体更好吃睡倍香

非常奇怪，但学校这种地方又工作强度非常大，远不输公司，为什么近些年好东西都是公司做出来的呢？
我观察到，在MIT这种学校，一些PhD做滤波器会把信号做傅立叶变换去掉高频再反变换回来，Butterworth滤波器啥的完全不知道。或者把某个传统的东西，套一个deep learning然后连续投5个nature science子刊直到发表。
让我不禁会想，如果真的努力做好科研是不是一个PhD根本不够，因为大部分人只能在PhD期间用如上所说的方法造出一些结果。

我曾经的导师，当时在看到我们组里在研究他多年前的文章时候，让我们不要浪费时间了， 说了一句‘bullshit’
哈哈

问你自己呀 你自己发了什么牛文章吗 也不知道你几年级了 有没有想水一水让自己早点毕业找个好工作的冲动？

alexxela 发表于 2022-12-8 18:58
问你自己呀 你自己发了什么牛文章吗 也不知道你几年级了 有没有想水一水让自己早点毕业找个好工作的冲动？

完全没有想水毕业。我觉得做任何事都应该认真做，尽量做到最好。

TheRealOne 发表于 2022-12-8 18:16
以前的phd, 认真喜欢学习和搞研究的比例比较高。

近代的phd, 一群本科毕业了找不到工作，唯有继续读书咯。 ...

我也觉得以找到好工作，或者出国为目的的phd真的很多。越来越功利了。

bugman 发表于 2022-12-08 16:01:55
完全没有想水毕业。我觉得做任何事都应该认真做，尽量做到最好。

一般来说顶会或者顶刊我就觉得不算水了（相比之下）但我觉得你的标准应该更高一点 大概是most influential paper of the decades之类的 或者投出去至少是个best paper？
加油。

在国内念书的时候，海归老师很感性地来了一句：99%的paper都是garbage。包括她自己的。
后来我深以为然。
这么说吧，发的论文里没有错误的，可能3成都不到… …