组里面做ML路子有点野是什么体验

harrybob 发表于 2021-8-3 23:22
现在ml phd那么多要进research team实习还是需要点门路的。

确实，我这样的没特别硬的关系的根本去不了FAIR，sad。。。。（就算有几篇top conference paper也没用

忍不住给 LZ 泼点冷水。。。

1. 如果 LZ 对自己的方法足够有信心，就自己 take risk 把自己的 idea 从头实现出来给大家看。我相信看到 metric 的瞬间，大家的疑问都会解决。FB 是很 buy metric win 的。但是反过来如果你只有理论没有结果，很难让大家信服

2. 如果对技术路线有不同意见，那就把论据和数据都准备好了约个组会和大家开诚布公聊，只要对事不对人，大家是不会有任何意见的。能 drive discussion 绝对是 intern 的 big plus. 吐槽反而不能解决问题。

3. 我相信很多时候 TL 不听你的意见也是在保护你 - 一个新的技术方向，大家都没底，到时候做不出来拿不到 return offer，是怪谁呢？相反，保守的技术路线，只要能做出来，至少能保住 return offer. 还是那句话，如果你足够相信自己的方向，能用 return offer 去赌这个方向，那就主动提出来。TL 不 buy 就去找 EM。intern project 做挂了反正对 team 没啥影响，我不太能想象大家会不支持你的 proactiveness

还有一些 general thought ，不是针对 LZ，就是随口一说
1. 理论和实践还是有挺大鸿沟的，理论上完美的东西在实践上能做出结果，往往不是那么 trivial 的东西
2. LZ 的例子也是激励我自己，凡事还是要 open-minded. 多听多看多想才能找到创新点
3. 有不同意见尽量拿到台面上说，文化好的公司都是鼓励 open discussion 的

匿名者 发表于 2021-8-4 01:58
忍不住给 LZ 泼点冷水。。。

1. 如果 LZ 对自己的方法足够有信心，就自己 take risk 把自己的 idea 从头 ...

谢谢建议哦。其实我的Intern已经差不多结束了hhh。已经用了自己之前paper一些拼凑的结论得到的方法Modify了现有算法之后把产品的cost降低了20%，每年预计能节省6M吧，不知道这是不是trival的improvement。我所有paper做的理论都是有实验verify的，作为一名researcher我对自己做的东西还是有confident的。就在这块领域我做了5年，在这块是绝对比TL的看法更权威。理论上不work的算法even没有必要去实践上去尝试，应为百分之百会失败，或者看上去不那么失败但其实失败了（通过调参）。理论上work的算法才有尝试的必要，虽然未必一定好，但可以guarantee不是错误的方向。

顺便一说TL说的根本不是保守的方法，如果是保守且incremental的方法的话我也不会来吐槽。。。TL提出的是一个拍脑袋想出来的激进到反这个领域常识的一个方法（就是给任何一个这个领域真正的expert看一眼都知道不靠谱）。。。而且实现起来很有risk，要不是我nice的mentor给力到处给我到别的组找帮手我还真不知道能不能实现TL的方法。当时每天都是担心受怕的，就担心实现不了TL的方法拿不到return。再次感谢我的超级棒的mentor （泪目）。反倒是我后来自己加的一些modifcation是保守的而且incremental的，但最后的效果还不错。所以我不得不吐槽下TL提的方法，hhhh

PS：顺便征求下意见。TL提出的方法我也是加班加点同时实现了，不过和我所预计的一样是完全不work，hhh。这周组里人还要讨论要不要继续TL的这个方向。。。我不知道是该给TL面子顺着他的话说，还是说实话直言这个方法不行呢？（主要怕让TL不开心，作为Intern还是少得罪人吧。。。毕竟我只是一个路过的小intern）

请教下lz，像你所说的从理论上去论证model是否work，是哪些方面的知识，凸优化还是什么？谢谢~

Jager 发表于 2021-8-4 02:36
请教下lz，像你所说的从理论上去论证model是否work，是哪些方面的知识，凸优化还是什么？谢谢~

主要是各种optimization，不限于convex

我的intern是大神

如果问题是像楼主说的一样如此清晰直白， 那么要不是楼主解释问题/方法的能力有巨大的问题，就是同事和TL理解能力有巨大的问题，再或者就是确实不是啥重要的事情，大家都在拍脑门，随便乐呵乐呵。
作为职业发展出发，楼主不妨就从自己的的communication/解释问题的能力出发来思考吧。以前有个帖子有个说法叫做，当你不能说服别人的时候，就是你职业发展停下来的时候。我感觉说服别人一个数学问题总是比说服别人给budget 给funding 给scope要容易那么一点

diffmani 发表于 2021-8-4 03:06
如果问题是像楼主说的一样如此清晰直白， 那么要不是楼主解释问题/方法的能力有巨大的问题，就是同事和TL理 ...

我觉得可能是我communication的问题。。。说的太隐晦hhh，可能TL没有get到。应为我从来没有明说 "this method does not work"。都是说 “in some settings, i think this method may not have verifed gurantee and requires too much tuning blablabla”。。。毕竟小命在TL手上不敢说的太直白不给面子

楼主能不能稍微展开讲下performance evaluation metrics 在有distribution shift是什么个情况？

jepey 发表于 2021-8-4 03:58
楼主能不能稍微展开讲下performance evaluation metrics 在有distribution shift是什么个情况？

欧，其实就是生成eval dataset的distribution和trained algorithm output的distribution不一样，这时候就需要把eval dataset乘上个density ratio才能保证准确的estimate trained algorithm performance