查看: 12544|回复: 121
收起左侧

[实习体验 Internship] 组里面做ML路子有点野是什么体验

    |只看干货
匿名用户-4F1  发表于 2021-8-4 04:00:12 |阅读模式
本楼: 👍   97% (34)
 
 
2% (1)   👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
本帖最后由 匿名 于 2021-8-3 16:18 编辑

本人是第4年PHD,ML理论track。这个暑假去了某大厂的一个产品组做ML track的intern。去了产品组之后发现所在组存在的一点小问题(微微吐槽),列举如下,同时在最后也征求下大佬们的职场经验。

问题:
(1)处理ML问题的method选择不恰当,做事情路子有点野导致浪费电费(讲真看到training浪费的那些电费我是真心疼 TAT。。。ml好不环保啊) --- 比如某些问题明显需要contrainted optimization方法,结果用的却是unconstrained 方法 + 调参。其实如果用contrained方法的话都不需要怎么调参就能获得很好的performance,而且是理论上能证明的好performance。但是用unconstrained方法不仅没有理论guarantee,而且调参花费巨大,computational 资源消耗也很多,并且关键的是得到的performance也不好。还有一个例子就是在计算一些performance evaluation metric的时需要考虑 distribution shift的地方却没有考虑,导致用来evaluate model的 metrics都不make sense,结果可想而知。。。

(2)感觉tech lead话语权太大?(只是感觉)tech lead对某些领域不太懂然后提出的方案不太靠谱,最终导致电费的浪费(TAT) --- 这次Intern的topic是一个tech lead suggested的,但是他不太懂这块。楼主在看到topic的瞬间几乎立马就能举出一个counter example来证明这个方法是错误的。虽然开会时候楼主有提出这点但还是要我继续做这一个方向。。。结果是可想而知,效果几乎为0 wwww。最后为了提升总体效果楼主是偷偷自己做了一些modification然后把那个tech lead提出的方法的权重设置为1%才让总体performance有了提高,好歹也是搞定了这个project。

征求建议. 1point3acres
接上个section的 (2) ---- 可能是楼主communication的问题?楼主开会时候有说过那个方法不work (both from theoretical and empirical sides),但组里的大家伙看起来还是对这个方法都是充满了热情(??)甚至楼主做完project总结的presentation后组里另一个同事还很感兴趣的想和我单独聊啊聊那个方法来follow up。。。。。。大家对于这种情况有没有什么比较好的communication(说话技巧)建议吗,好让我在他们浪费更多电费之前拦住他们。。。

最后说一点感悟吧
overall 整个intern感觉是非常好的,组里人其实挺Nice的,包括那个tech lead。。然后我的mentor也非常nice,对我在engineering上一些非常白痴的问题都非常耐心回答(哎,做理论的coding水平一般般见谅,比心mentor)。对比了地里的一些case我这个简直就是神仙组了。想吐槽的是纯tech方面的问题(就事论事). check 1point3acres for more.

这次Intern总体感觉就是目前从ML业者很大一部分对于ml本质的understanding还不够深刻。 楼主的感觉是ML其实是个mathematical grounded的学科,不管是model还是algorithm的选择都得遵循一个严谨的理论体系,能做到这点不仅能省时间还能省电费(大家要保护环境。。。)。但是这次经历也发现了好多ml从业者都不能选择出正确的方法来解决不同的问题,最终导致效果不好或者无用的调参。。。ml的有效利用还有待提升(不过也是好事,说明这块还没完全饱和??哈哈哈哈)



补充内容 (2021-08-04 23:28 +8:00):
有童鞋问好多关于counter example的事情,其实逻辑很简单:一个方法是正确的那么不管在large scale还是toy example下都应该能work。如果在toy example下都能证明这个方法fail了那就说明这个方法不正确或者需要加additional assumption。这是个常用来快速argue方法正确的常规手段。for example想验证RL算法可以不用从MDP入手而是考虑一个简单的bandit比如 3-arm bandit

补充内容 (2021-08-04 23:34 +8:00):
感谢大家的职场建议哦~有好多童鞋可能误解了,我是已经实现了Both TL的想法和加上自己的modification。不管从理论还是实验的层面都可以证明TL的方法不work。也写了report,也做了presentation。现在问题是可能我做presentation时候没有特别strong的去批评这个方法(TL人还可以的不忍心在group里不给面子),说的特别隐晦,结果导致group还想继续follow这个不注定不work的方向。这个intern group里的人还是很照顾我的,所以不忍心看到这么可爱的group在一个不正确的方向上浪费时间,但同时又怕反对了不给TL面子。。。所以想咨询的是这个情况下做啥最优解

补充内容 (2021-08-05 00:26 +8:00):
好多童鞋感觉是TL提出的是一个保守的idea来保护我这么一个Intern让我容易完成。。。其实不是,TL提出的是一个只要是这个领域的内行人看了都知道不work的一个“激进”想法,而且实现起来还有risk,要不是我超Nice的mentor帮忙差点实现不了。。。

评分

参与人数 8大米 +12 收起 理由
foy699999 + 1 赞一个
VickyLu001 + 1 赞一个
gumball_zero + 2 给你点个赞!
木木 + 2 我的intern是大神
gyroid + 2 给你点个赞!给楼主的环保意识再点一个赞!
snowblink + 1 给你点个赞!
michael.guo + 2 good topic
arshun + 1 赞一个

查看全部评分


上一篇:如何更好的给skip做presentation
下一篇:和前老板们的斗争
strmic1994 2021-8-4 04:22:16 | 显示全部楼层
本楼: 👍   98% (68)
 
 
1% (1)   👎
全局: 👍   98% (87)
 
 
1% (1)    👎
非常好奇你做的具体什么project可以同时满足:(1)计算量大到电费都是一个consideration factor,and(2)model简单到可以用ml theory来theorticallly的prove一个方法不work。。。

评分

参与人数 7大米 +7 收起 理由
TigeR0se + 1 给你点个赞!
choniong + 1 赞一个
_DOGGY_ + 1 太精辟了哈哈哈哈哈
李宗基 + 1 给你点个赞!
CornierCoast + 1 赞一个
YolandaGao + 1 给你点个赞!
tomorrow203 + 1 给你点个赞!

查看全部评分

回复

使用道具 举报

地里的匿名用户
匿名用户-CD2  发表于 2021-8-4 13:58:26
本楼: 👍   94% (16)
 
 
5% (1)   👎
忍不住给 LZ 泼点冷水。。。

1. 如果 LZ 对自己的方法足够有信心,就自己 take risk 把自己的 idea 从头实现出来给大家看。我相信看到 metric 的瞬间,大家的疑问都会解决。FB 是很 buy metric win 的。但是反过来如果你只有理论没有结果,很难让大家信服

2. 如果对技术路线有不同意见,那就把论据和数据都准备好了约个组会和大家开诚布公聊,只要对事不对人,大家是不会有任何意见的。能 drive discussion 绝对是 intern 的 big plus. 吐槽反而不能解决问题。

3. 我相信很多时候 TL 不听你的意见也是在保护你 - 一个新的技术方向,大家都没底,到时候做不出来拿不到 return offer,是怪谁呢?相反,保守的技术路线,只要能做出来,至少能保住 return offer. 还是那句话,如果你足够相信自己的方向,能用 return offer 去赌这个方向,那就主动提出来。TL 不 buy 就去找 EM。intern project 做挂了反正对 team 没啥影响,我不太能想象大家会不支持你的 proactiveness

还有一些 general thought ,不是针对 LZ,就是随口一说
1. 理论和实践还是有挺大鸿沟的,理论上完美的东西在实践上能做出结果,往往不是那么 trivial 的东西
2. LZ 的例子也是激励我自己,凡事还是要 open-minded. 多听多看多想才能找到创新点
3. 有不同意见尽量拿到台面上说,文化好的公司都是鼓励 open discussion 的


评分

参与人数 3大米 +3 收起 理由
Vitas_Harry + 1 赞一个
thinkoutofbox + 1 赞一个
1a1a11a2 + 1 赞一个

查看全部评分

回复

使用道具 举报

地里的匿名用户
匿名用户-9B3  发表于 2021-8-4 22:07:32
本楼: 👍   100% (8)
 
 
0% (0)   👎
其实楼主说的问题很常见。这种问题也不仅仅存在于ML项目。不光是TL对intern的意见不采纳,很多情况下,partner team相互之间也不采纳意见。你明明就是专家,有更好的方法,你的partner team就是不按你的思路做。人家有自己的priority,有自己的权衡利弊。而且按你的思路做,等于给你打工,人家的scope就相对小了。尤其是不用追求SOTA的时候。
所以职场上的seniority,不光是看你技术怎么样,还得看你影响其他人的能力。换种方法说就是navigate politics的能力。有人的地方就有politics。你光知道怎么做,成为不了senior/staff。你能说服其他人按你的方法做,你就是senior/staff level。这就是leadership,光吐槽是没有impact的。发挥影响力对于初入职场的PhD来说是很难,在牛人云集的地方,大家不会因为你是牛校CS的PhD就奉你为技术大牛。Technical leadership不是比谁的想法“更对”,公司做大之前都是“野路子”。

评分

参与人数 2大米 +3 收起 理由
t__c___ + 2 很有用的信息!
faang + 1 赞一个

查看全部评分

回复

使用道具 举报

地里的匿名用户
匿名用户-94D  发表于 2021-8-4 04:57:59
本楼: 👍   100% (1)
 
 
0% (0)   👎
完全没get到你说的点…什么contained, unconstrained… 能说一下具体的方向吗?
回复

使用道具 举报

地里的匿名用户
匿名用户-4F1  发表于 2021-8-4 05:03:39
本楼: 👍   100% (2)
 
 
0% (0)   👎
本帖最后由 匿名 于 2021-8-3 17:15 编辑
strmic1994 发表于 2021-8-3 16:22. check 1point3acres for more.
非常好奇你做的具体什么project可以同时满足:(1)计算量大到电费都是一个consideration factor,and(2) ...

(1)电费和数据量有关吧,就算是不大的neural network数据几亿的话计算一次就要几千刀,这个不是浪费吗?我在实验室搞一年才花几千刀(2)理论argue和实际Model不用一样。没什么困难的吧,比如rl的复杂问题就可以构建一个简单的小bandit的setting。然后原来rl的方法就在这个setting下变得可以理论计算出global optimal的结果,根据这个结果就可以来argue这个方法不work了。没问么矛盾的
回复

使用道具 举报

地里的匿名用户
匿名用户-4F1  发表于 2021-8-4 05:03:58
本楼: 👍   0% (0)
 
 
0% (0)   👎
本帖最后由 匿名 于 2021-8-3 17:05 编辑
匿名者 发表于 2021-8-3 16:57
完全没get到你说的点…什么contained, unconstrained… 能说一下具体的方向吗?

RL推荐方向
回复

使用道具 举报

DreamBoy 2021-8-4 05:08:35 来自APP | 显示全部楼层
本楼: 👍   90% (9)
 
 
10% (1)   👎
全局: 👍   80% (2237)
 
 
19% (543)    👎
我盲猜fb…fb sde
ml track大多都不是ml科班出身 很正常看淡就好了
回复

使用道具 举报

地里的匿名用户
匿名用户-4F1  发表于 2021-8-4 05:17:06
本楼: 👍   100% (4)
 
 
0% (0)   👎
DreamBoy 发表于 2021-8-3 17:08
我盲猜fb…fb sde
ml track大多都不是ml科班出身 很正常看淡就好了

可以的!居然被你猜对了,hhhh
回复

使用道具 举报

地里的匿名用户
匿名用户-764  发表于 2021-8-4 05:17:27
本楼: 👍   100% (1)
 
 
0% (0)   👎
这个暑假也在实习 虽然不是MLE但也做一些model 跟楼主体验有很相似的地方... tech lead有自己的想法 我提出自己的质疑或者别的方法 tl并不会听... 最后也是想了一些workaround的方法把tl的想法放进去得到了看起来还可以的performance...
回复

使用道具 举报

strmic1994 2021-8-4 05:17:50 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   98% (87)
 
 
1% (1)    👎
匿名者 发表于 2021-8-3 16:03. 1point3acres
(1)计算一次就要几千刀,这个不是浪费吗?我在实验室搞一年才花几千刀(2)没什么困难的吧,比如rl的问 ...

I see. 不过感觉几千刀计算一次对大公司来说就是洒洒水吧,只要搞出来一个(有可能)上production的model可能成本就回来了?环保因素在大公司里面就是一个PR因素,不需要researcher (大概率你实习position是research吧)去考虑。

第二点大概是我孤陋寡闻了,除了最基本的contextual bandits,现在上了deep NN的RL也可以直接prove work不work了?我以为最多只能证证各种policy优化方法的sample complexity?可以直接prove production metric work不work了?
回复

使用道具 举报

summeratjuly 2021-8-4 05:19:22 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   95% (189)
 
 
4% (9)    👎
匿名者 发表于 2021-8-3 14:03
(1)计算一次就要几千刀,这个不是浪费吗?我在实验室搞一年才花几千刀(2)没什么困难的吧,比如rl的问 ...

没有context无法确定是否apply

但是对于大厂来说,按年薪25w+一年260个工作日来说,一个工程师一天的工资大概就1000刀了 tech lead这个数估计还要翻好几倍
如果能用一次计算节省下来一个工程师一周的时间的话,整体来说是划算的
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
职场达人
  • ↑ 本版用于讨论职场各种干货话题,闲聊请去🔗聊聊或者🔗匿名版
  • ❌ 本版严禁水贴,引战,发布广告,拉群,贴个人联系方式,扣分无警告
  • ☑ 求职、面经等去 🔗北美求职和 🔗回国求职大区,刷题和学习请去 🔗终身学习大区
  • ☑ 请去专版发布 🔗内推, 🔗招聘信息,和讨论 🔗创业内容

本版积分规则

>
快速回复 返回顶部 返回列表