到底有多少研究是 bullshit?

给你一个耗油根 发表于 2022-12-11 21:56
哈哈哈，一个字烂，这就是为什么现在一堆疯狗也要发paper。

如果你也是学术界的一份子，让我看你举起右手比出中指

bugman 发表于 2022-12-12 19:23
你没在学术界待过吗？
我想说的就是很多假结果导致很多人科研很艰难。
最开始小白的时候，很无知，很相 ...

“theomnipresenceofthenon-negativematrixfactorizationtechniqueintheliterature(>60%ofpublications—Rabbietal2020)mightnotbefullyjustified”

楼主这是哪篇文章里的，谷歌搜不到啊

bugman 发表于 2022-12-12 20:33:04
我还是要努力揭露的！
我和爸妈说这些事，他们说如果没意思就别读了，去创个业，开始新人生也挺好的，反正人生很短，不应该总限制自己，也不应该总不开心。
所以现在总想，反正大不了这个博士不要了，那还不好

lz你的goal是shitting on the application of NMF in extracting muscle synergies么。

其实有点可以理解你老板的顾忌，而且估计他也是为了你好。contrarianism在学术圈常常不是被reward的，特别是在你还没有积累足够多的reputation去抵御那些反对的回应的时候。

NLP的topic extraction方向有用类似的method (latent semantic analysis, latent dirichlet allocation)。这些methods带了许多独特的inductive biases是难以被定量分析的，但是在当年如果你要站出来说这些inductive biases不对肯定一堆人出来喷你，毕竟你这是在砸他们饭碗啊。但是在deep learning出现以后之前的这些method马上光速被淘汰。It’s hard to change people‘s mind by saying they’re wrong. You need to show a better alternative.

risbb 发表于 2022-12-13 14:24
lz你的goal是shitting on the application of NMF in extracting muscle synergies么。

其实有点可以理解 ...

我就是做出了更好的方法，无论从模拟还是实验，准确率和性能都好很多很多

bugman 发表于 2022-12-12 21:23
你没在学术界待过吗？
我想说的就是很多假结果导致很多人科研很艰难。
最开始小白的时候，很无知，很相 ...

很欣赏楼主这样的科研工作者，想帮你做点啥但是好像又发现自己做不了什么。请收下我最真诚的祝福！只有像你这样的人越来越多，人类的科学才能真正进步！

bugman 发表于 2022-12-13 13:40:42
我就是做出了更好的方法，无论从模拟还是实验，准确率和性能都好很多很多

你可以不需要直接正面刚NMF有多辣鸡啊。

focus在你的新method有哪些新贡献，慢慢为你的method拉拢支持者也是一种可行的研究方向。

虽然你前文似乎在暗示的是你的method比NMF好，但是因为bio圈子都在造假数据，你的method也没办法beat用NMF但是造假造出来的正面结果是吧。

risbb 发表于 2022-12-13 16:53
你可以不需要直接正面刚NMF有多辣鸡啊。

focus在你的新method有哪些新贡献，慢慢为你的method拉拢支持者 ...

兄弟，你理解得太对了，物理攻击打不过魔法啊。在我大量的模拟和有限的实验数据里，NMF准确率很低，我写的新算法基本基本都能把信号源还原出来。

btw，NMF和用NMF extract muscle synergy的发源地都是MIT，这些人现在都是学界大佬，所以不难理解我为什么被人抵制了吧。

在美国读书时导师说过一样的话

bugman 发表于 2022-12-13 17:12
兄弟，你理解得太对了，物理攻击打不过魔法啊。在我大量的模拟和有限的实验数据里，NMF准确率很低，我写 ...

这样的情况在学术圈里基本上算日常了，想做groundbreaking work的人都会被这样的学术护城河阻碍。在ml圈子也是这样，欺诈的实验成就了很多positive results，给许多人带来现在的solution就是最好的solution的假象。

如果想要带来立即的paradigm shift，那要真的做出一个破天荒的method让之前的method就算用欺诈的方法也没办法企及才有可能。但这又谈何容易呢。

但是我也觉得你也不用这么灰心，想想你做学术的初心是什么，再重整旗鼓。你的career还长，不要现在就和他们宁为玉碎，毁了你的事业也不会给这个领域带来任何实质性的改变。

事实是，想要达成你的目标你是可以有很多策略性的手段可以用的。听起来你现在的results已经可以发一些paper了，但你可以在paper里尽量downplay对NMF的shit talk，给mit遗老遗少们卖个面子，不要把paper写成像是给NMF的战书一样。

你的学术生涯肯定不止于你phd期间的这些research，你未来有很多机会可以在做分析的时候顺便带上你的新method，用这些机会身体力行地为你的method打广告（能一直milk你的这个发现也是个大plus呀）。Play the long game.

当然数据造假这个事情确实是会模糊了不同methods的优劣差距，但是在你自己现在在做的和未来将做的experiment里，你自己是可以清楚地知道NMT和你的method真实的不同的。在经过了若干experiments后你consistently发现你的method确实好用的话，你可以更有底气地推广给你的学术人脉圈子里的同僚们。

不要直接说你的method现在马上就要取代NMF，慢慢地渐进式地做。是金子总会发光的。

当然这些东西很难在你的phd阶段就发生，你要做好一个长期的计划的心理准备，期间什么事情都有可能发生，可能就算你变成ap了你还是笼罩在NMF的阴影下，可能别人的method突然火了取代了NMF，但这些都是做学术要承担的风险吧。

当然最后的最后，你永远可以退出学术圈的游戏，进入工业界。在工业界里没有那么多空间可以cheat，没有那么多unknowns可以悠闲地探索，最重要的是efficacy, efficiency, & productivity

摘一段来自《非对称风险》里的段落

对于一位论文作者来说，他唯一的评判是他的“同行”，于是他们就默契地形成了一个相互引用对方论文的小圈子，这种让圈内人的论文提高知名度和被引用次数的做法，源于指标考核体系，结果却是某种程度的腐败。例如，宏观经济学可能根本就是无稽之谈，因为宏观胡说比微观胡说要容易得多，根本没人知道一个宏观理论是否真的有效。
如果你在说疯话，那么你会被认为发疯了。但如果你组织一个20人的圈子，成立一个学会，相互附和着说疯话，那么你可以凭借这些“同行评议”在大学开设一个系了。
学术界有一种趋势，即学者不必参与“风险共担”，如果对此不加制止，学术活动就会演变为一个仪式感很强，但纯属自娱自乐的出版游戏。
现在，学术活动逐渐变成了竞技体育的比赛，维特根斯坦对此持反对态度，他认为知识站在体育比赛的对立面。他还说，在哲学上的胜利属于最后说话的那个人（活到最后的人）。
而且：
任何东西一旦带有竞赛的意味，就会扼杀对知识的探索。

在某些领域，比如性别研究或者心理学领域，形式主义的出版游戏愈演愈烈，研究成果越来越少地反映真正的研究。研究人员遇到了代理人利益冲突问题（就像黑手党遇到了两个互为竞争对手的客户同时上门求助），社会和学生付钱给学者希望得到的东西是相互冲突的。好在学者自己有一个圈子，牢牢地把住了学术界的大门，学术界对外界越不透明就对学者越有利。学者熟悉“经济学”，并不意味着他们知道现实生活中经济运行的规律，他们只知道理论，而大多数理论不过是经济学家自己制造出来的狗屎。那些辛勤工作数十年的父母，辛苦攒下积蓄给孩子付学费，而他们的孩子在大学里的课程却很容易退化成时尚秀，课程内容可能是“针对后殖民地时期量子力学的文学批判”（没看懂？因为这就是狗屎）。