到底有多少研究是 bullshit?

bugman 发表于 2022-12-8 17:34
我今年做了一个工作，和学术大佬的结果不一致。我仔细研究发现大佬用的数学算法很有问题，而我的算法是我 ...

想发出来就得把自己的结论减弱。直接说自己的结果和公认的不一样，目前尚未查明为什么，再编个故事，千万别说大佬有错。小虾米只能做个老好人，先找个角落发出来，自有公论。能不能发大成果，主要是看老板的面子。不看透这事，混不了学术圈。

边际效益递减，研究带来的进步也越来越小

没办法，为了不像张益唐那样去餐厅打工，只能水一些论文混点钱。

听说某位大神为了冲击高难度课题，事先先写好10多篇论文，然后在冲击高难度课题时候慢慢发布，为了是给自己赚点钱和争取点时间。

ourgit 发表于 2022-12-10 20:12:10
没办法，为了不像张益唐那样去餐厅打工，只能水一些论文混点钱。

听说某位大神为了冲击高难度课题，事先先写好10多篇论文，然后在冲击高难度课题时候慢慢发布，为了是给自己赚点钱和争取点时间。

你说的应该就是证明了费马大定理的那个剑桥数学家吧

SakuraXTY 发表于 2022-12-09 12:49:18
还是别随便小看理论吧。Adam的问题不是Proof有问题，是这个算法根本不收敛。后面的几个理论work做了微小改动后这个算法才算正真的完善。你说不改正能不能用，能用是能用但你总会遇到不收敛的情况然后M

“Adam（在convex case）能converge”就是他们要证的case，就是因为证错了所以才可能有convergence的问题。

AMSGrad补了adam的proof上的漏洞，也借此声称有更好的convergence behavior。但是你看pytorch对adam的实现会发现amsgrad默认是不调用的，DL社区也没有对amsgrad信服到让它取代Adam当作默认optimizer，所以在实际的情况下amsgrad能提供多有意义的convergence improvement是存疑的（要不然大家都用了）。

这些proof的最大问题都是assumption（assuming convexity）太强了，neural network几乎完全不可能是convex的。一个optimization algorithm在convex function上converge，不代表它在non-convex function上有一样的表现。所以这两个optimizer在deep learning的实际应用上还是会出现各种各样mess up的情况。

事实上，adam的convex convergence proof有残缺并不影响它在（non-convex的）实际情况下非常好用。amsgrad的convex convergence proof完善了并不说明它在实际情况下完胜adam。那这时候在这两篇papers里proof的必要性就显得非常尴尬。

我认为theory的工作很重要，而且有时候theory的工作会促成很重要的实践进步（像是AdaBoost）。有些现在的科学/工程问题是数学工具还没有办法充分解析的（比如神经网络），因此对他们的研究都是侧重实践性的。在一篇主要贡献是实践发现的paper里硬要塞进去一些不太有意义但mathy的东西，是现在DL研究里很迂腐的做法。Theory paper都在好好搞theory，它们有自己的venue（像是COLT），但是一堆CVPR里那些炼金术一样地在propse新模型的paper，根本没必要加进去一些有的没的并不重要的数学公式。

bugman 发表于 2022-12-09 12:26:33
我一直以来不开心的不是文章影响力和内容的价值什么的。不少有影响力的结果是假的，很多人不加验证，还给假结果添砖加瓦。最恐怖的事是，那些发假结果，用假结果的人在努力打压揭露他们的人。
我所知几个发论文f

你把学术圈当成一个职业团体，就不会觉得奇怪了。这个就和大厂里面的领导大部分也是一个圈子一样。工业界大家玩钱玩政治玩影响力，和学术圈也是大同小异。只不过学术圈很多人要么能力不够混工业界，要么就是在学术圈有人脉和资源。学术圈有一点好，就是哪怕你做一辈子毫无营养的研究，你仍然可以活的很好。在工业界你的团队如果不能挣钱可能就被干掉了

哈哈哈，一个字烂，这就是为什么现在一堆疯狗也要发paper。

bugman 发表于 2022-12-9 09:24
希望如此啊，可是我身边好一些有能力，有理想的人，都在远离学术界。

做学术太辛苦，真正的回报又少，是留给真正对探索未知有兴趣的人的。

risbb 发表于 2022-12-11 15:22
“Adam（在convex case）能converge”就是他们要证的case，就是因为证错了所以才可能有convergence的问题 ...

你Optimization好好学了没有啊，AMSGrad在nonconvex下也有convergence guarantee

我也遇到了类似的问题，这确实让人很沮丧，很怀疑做事的意义，觉得学术明明理应是最讲道理的地方，可是现实很破灭幻想…尤其华人圈子，更加更加恶臭，大家都明着讲了，一切为了毕业升职，水已经是默认，反而你如果想做点什么，弄清原理这些会和大家格格不入，别人会觉得无必要，浪费时间，或者是你走了弯路，每一天都很沮丧。