组里面做ML路子有点野是什么体验

本人是第4年PHD，ML理论track。这个暑假去了某大厂的一个产品组做ML track的intern。去了产品组之后发现所在组存在的一点小问题（微微吐槽），列举如下，同时在最后也征求下大佬们的职场经验。

问题：
（1）处理ML问题的method选择不恰当，做事情路子有点野导致浪费电费（讲真看到training浪费的那些电费我是真心疼 TAT。。。ml好不环保啊） --- 比如某些问题明显需要contrainted optimization方法，结果用的却是unconstrained 方法 + 调参。其实如果用contrained方法的话都不需要怎么调参就能获得很好的performance，而且是理论上能证明的好performance。但是用unconstrained方法不仅没有理论guarantee，而且调参花费巨大，computational 资源消耗也很多，并且关键的是得到的performance也不好。还有一个例子就是在计算一些performance evaluation metric的时需要考虑 distribution shift的地方却没有考虑，导致用来evaluate model的 metrics都不make sense，结果可想而知。。。

（2）感觉tech lead话语权太大？（只是感觉）tech lead对某些领域不太懂然后提出的方案不太靠谱，最终导致电费的浪费（TAT） --- 这次Intern的topic是一个tech lead suggested的，但是他不太懂这块。楼主在看到topic的瞬间几乎立马就能举出一个counter example来证明这个方法是错误的。虽然开会时候楼主有提出这点但还是要我继续做这一个方向。。。结果是可想而知，效果几乎为0 wwww。最后为了提升总体效果楼主是偷偷自己做了一些modification然后把那个tech lead提出的方法的权重设置为1%才让总体performance有了提高，好歹也是搞定了这个project。

征求建议
接上个section的 (2) ---- 可能是楼主communication的问题？楼主开会时候有说过那个方法不work (both from theoretical and empirical sides)，但组里的大家伙看起来还是对这个方法都是充满了热情（？？）甚至楼主做完project总结的presentation后组里另一个同事还很感兴趣的想和我单独聊啊聊那个方法来follow up。。。。。。大家对于这种情况有没有什么比较好的communication（说话技巧）建议吗，好让我在他们浪费更多电费之前拦住他们。。。

最后说一点感悟吧
. ----overall 整个intern感觉是非常好的，组里人其实挺Nice的，包括那个tech lead。。然后我的mentor也非常nice，对我在engineering上一些非常白痴的问题都非常耐心回答（哎，做理论的coding水平一般般见谅，比心mentor）。对比了地里的一些case我这个简直就是神仙组了。想吐槽的是纯tech方面的问题（就事论事）

这次Intern总体感觉就是目前从ML业者很大一部分对于ml本质的understanding还不够深刻。 楼主的感觉是ML其实是个mathematical grounded的学科，不管是model还是algorithm的选择都得遵循一个严谨的理论体系，能做到这点不仅能省时间还能省电费（大家要保护环境。。。）。但是这次经历也发现了好多ml从业者都不能选择出正确的方法来解决不同的问题，最终导致效果不好或者无用的调参。。。ml的有效利用还有待提升（不过也是好事，说明这块还没完全饱和？？哈哈哈哈）



补充内容 (2021-08-04 23:28 +8:00):
有童鞋问好多关于counter example的事情，其实逻辑很简单：一个方法是正确的那么不管在large scale还是toy example下都应该能work。如果在toy example下都能证明这个方法fail了那就说明这个方法不正确或者需要加additional assumption。这是个常用来快速argue方法正确的常规手段。for example想验证RL算法可以不用从MDP入手而是考虑一个简单的bandit比如 3-arm bandit

补充内容 (2021-08-04 23:34 +8:00):
感谢大家的职场建议哦~有好多童鞋可能误解了，我是已经实现了Both TL的想法和加上自己的modification。不管从理论还是实验的层面都可以证明TL的方法不work。也写了report，也做了presentation。现在问题是可能我做presentation时候没有特别strong的去批评这个方法（TL人还可以的不忍心在group里不给面子），说的特别隐晦，结果导致group还想继续follow这个不注定不work的方向。这个intern group里的人还是很照顾我的，所以不忍心看到这么可爱的group在一个不正确的方向上浪费时间，但同时又怕反对了不给TL面子。。。所以想咨询的是这个情况下做啥最优解

补充内容 (2021-08-05 00:26 +8:00):
好多童鞋感觉是TL提出的是一个保守的idea来保护我这么一个Intern让我容易完成。。。其实不是，TL提出的是一个只要是这个领域的内行人看了都知道不work的一个“激进”想法，而且实现起来还有risk，要不是我超Nice的mentor帮忙差点实现不了。。。

非常好奇你做的具体什么project可以同时满足：（1）计算量大到电费都是一个consideration factor，and（2）model简单到可以用ml theory来theorticallly的prove一个方法不work。。。

忍不住给 LZ 泼点冷水。。。

1. 如果 LZ 对自己的方法足够有信心，就自己 take risk 把自己的 idea 从头实现出来给大家看。我相信看到 metric 的瞬间，大家的疑问都会解决。FB 是很 buy metric win 的。但是反过来如果你只有理论没有结果，很难让大家信服

2. 如果对技术路线有不同意见，那就把论据和数据都准备好了约个组会和大家开诚布公聊，只要对事不对人，大家是不会有任何意见的。能 drive discussion 绝对是 intern 的 big plus. 吐槽反而不能解决问题。

3. 我相信很多时候 TL 不听你的意见也是在保护你 - 一个新的技术方向，大家都没底，到时候做不出来拿不到 return offer，是怪谁呢？相反，保守的技术路线，只要能做出来，至少能保住 return offer. 还是那句话，如果你足够相信自己的方向，能用 return offer 去赌这个方向，那就主动提出来。TL 不 buy 就去找 EM。intern project 做挂了反正对 team 没啥影响，我不太能想象大家会不支持你的 proactiveness

还有一些 general thought ，不是针对 LZ，就是随口一说
1. 理论和实践还是有挺大鸿沟的，理论上完美的东西在实践上能做出结果，往往不是那么 trivial 的东西
2. LZ 的例子也是激励我自己，凡事还是要 open-minded. 多听多看多想才能找到创新点
3. 有不同意见尽量拿到台面上说，文化好的公司都是鼓励 open discussion 的

其实楼主说的问题很常见。这种问题也不仅仅存在于ML项目。不光是TL对intern的意见不采纳，很多情况下，partner team相互之间也不采纳意见。你明明就是专家，有更好的方法，你的partner team就是不按你的思路做。人家有自己的priority，有自己的权衡利弊。而且按你的思路做，等于给你打工，人家的scope就相对小了。尤其是不用追求SOTA的时候。
所以职场上的seniority，不光是看你技术怎么样，还得看你影响其他人的能力。换种方法说就是navigate politics的能力。有人的地方就有politics。你光知道怎么做，成为不了senior/staff。你能说服其他人按你的方法做，你就是senior/staff level。这就是leadership，光吐槽是没有impact的。发挥影响力对于初入职场的PhD来说是很难，在牛人云集的地方，大家不会因为你是牛校CS的PhD就奉你为技术大牛。Technical leadership不是比谁的想法“更对”，公司做大之前都是“野路子”。

完全没get到你说的点…什么contained, unconstrained… 能说一下具体的方向吗？

strmic1994 发表于 2021-8-3 16:22
非常好奇你做的具体什么project可以同时满足：（1）计算量大到电费都是一个consideration factor，and（2） ...

（1）电费和数据量有关吧，就算是不大的neural network数据几亿的话计算一次就要几千刀，这个不是浪费吗？我在实验室搞一年才花几千刀（2）理论argue和实际Model不用一样。没什么困难的吧，比如rl的复杂问题就可以构建一个简单的小bandit的setting。然后原来rl的方法就在这个setting下变得可以理论计算出global optimal的结果，根据这个结果就可以来argue这个方法不work了。没问么矛盾的

匿名者 发表于 2021-8-3 16:57
完全没get到你说的点…什么contained, unconstrained… 能说一下具体的方向吗？

RL推荐方向

我盲猜fb…fb sde
ml track大多都不是ml科班出身 很正常看淡就好了

DreamBoy 发表于 2021-8-3 17:08
我盲猜fb…fb sde
ml track大多都不是ml科班出身 很正常看淡就好了

可以的！居然被你猜对了，hhhh

这个暑假也在实习 虽然不是MLE但也做一些model 跟楼主体验有很相似的地方... tech lead有自己的想法 我提出自己的质疑或者别的方法 tl并不会听... 最后也是想了一些workaround的方法把tl的想法放进去得到了看起来还可以的performance...

匿名者 发表于 2021-8-3 16:03
（1）计算一次就要几千刀，这个不是浪费吗？我在实验室搞一年才花几千刀（2）没什么困难的吧，比如rl的问 ...

I see. 不过感觉几千刀计算一次对大公司来说就是洒洒水吧，只要搞出来一个（有可能）上production的model可能成本就回来了？环保因素在大公司里面就是一个PR因素，不需要researcher (大概率你实习position是research吧)去考虑。

第二点大概是我孤陋寡闻了，除了最基本的contextual bandits，现在上了deep NN的RL也可以直接prove work不work了？我以为最多只能证证各种policy优化方法的sample complexity？可以直接prove production metric work不work了？

匿名者 发表于 2021-8-3 14:03
（1）计算一次就要几千刀，这个不是浪费吗？我在实验室搞一年才花几千刀（2）没什么困难的吧，比如rl的问 ...

没有context无法确定是否apply

但是对于大厂来说，按年薪25w+一年260个工作日来说，一个工程师一天的工资大概就1000刀了 tech lead这个数估计还要翻好几倍
如果能用一次计算节省下来一个工程师一周的时间的话，整体来说是划算的