📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 67310| 回复: 146
跳转到指定楼层
上一主题 下一主题
收起左侧

越做ML/NLP research越想转行

   
全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
本帖最后由 Jing666 于 2019-1-14 11:36 编辑

八个月的research实习过去一大半了,算上之前和教授做的八个月实习,作为undergrad也稍体会了下做research的妙处与苦处。这帖只想谈谈感想,也算是大学这一年多的总结。“没信心”只是我兴趣或许不在此+IQ不够,智商高的各位我还是非常推荐读个phd的。我的感想真的只apply到个人。


至于为何分类“转CS”,实在是因为萌生了转行的念头。

先介绍下背景:
1,坑教授时期
海本,和教授做machine learning的应用相关八个月。去年教授收留我的时候我还是十足的小白,上了入门的AI、看了Andrew Ng的coursera课+CS229 Notes就硬着头皮和教授陶瓷了,最后我当然是没有idea,都是教授的想法。专业是joint major上了不少数学课、导致coding practice不够,代码写的一团糟,standalone project没有人和我互相peer review于是bug频发,第一个程序是reimplement一片paper写的probabilistic model,没有/不会用现成的包,战战兢兢的度过了初期。刷完一些网上的machine learning课程和deep learning课程之后才稍微懂了些皮毛,硬着头皮看paper囫囵吞枣地了解了state of the art
2. 继续坑教授时期
开学之后系统的上了Applied machine learning和NLP的课,补充了些stats的知识,对这方面越发着迷。然而学习他人总结的知识和自己尝试新方法research是完全不同的,整个过程有时非常frustrating,用了deep learning之后也不知道为什么不work,犯了许多低级的错误(eg beam search写出bug),coding practice稍有改善却还是一团浆糊。
(最后由于太渣model效果不好,publication也被拒)
如果要做个小总结,就是由于自己入门太早完全没有idea,所以非常依赖supervisor,永远要问教授下一步怎么办,这种感觉非常无助但是自己提的建议又实在是有限。现在回想起来当年自己还是非常坑爹的。
3.实习期间
从今年开始在公司做corporate research的研究,第一个research project是非常empirical的discovery,且不是我的idea没太大意思。同时在做的project是公司的tooling,主要就是手撸各种tensorflow library下的各种模型,但都是常见的模型、且有旧版本的Theano做benchmark,主要就是保证API不变(既然是tool别的组也都要用),速度和performance都不能下降。这一阶段我的coding practice得到了很多改善,开始善用Python的OOP、class下各类function decorator,而不是以前一个模型一个function,也学会用tf debugger、tensorboard等debugging技能,其实感觉写模型就是,两小时写模型,两天debug(有时候两天还不够)。第三个project还在ongoing,是更偏research的项目(但是baseline真的很强大)目前还在焦虑迷茫中。

然后是update一些近期感想:
一边实习一边除了考完标化和准备申请的选校,还复习/学习了一些数:重温Bishop的PRML,比较基础的convex optimization,一点点probability theory(analysis太差看不下去了),mathematical stats(推荐CMU的36-705),想刷statistical learning但是ESL真是难炸天;初步尝试了一些以前从没有机会接触的领域:financial theory,financial market,accounting(推荐Coursera上Wharton School开的两),在读《选择,未来和其他》(Option, Future and other derivatives)

为什么最近会读这么多乱七八糟(potentially useless)的东西呢?可能是因为不太甘心未来做一辈子的researcher吧、以及对research一些没什么theorey support的东西感到心虚吧(虽然其实ML除了deep learning好像都有theoretical bound,Neural net也有PAC,没啥用就是)。在公司做research固然好,但是与mentor和同事们(sample比较两极分化:要么senior researcher要么new grad developer)交流一番后还是觉得我们这儿的tech company就好像一个巨型bubble,大部分人在里面做着自己本分的事情,却不care很多外面(非tech,比如business、finance)的世界。这大约也是由于1)双向选择 2)我们这城市甚至国家的culture使然。(多赚的钱都交税了)

大约和家庭背景也有关,我不太愿意接下来二三十年都过这technician的平淡生活。(不知道如果想转manager的话该怎么提高自己?不过tech知识肯定要过硬,我的manager们也是CS/math的master/phd。。)

尤其在读Optimization和啃statistical learning的过程中,越来越意识到Deep learning当下的状态,虽然以前也隐隐感觉到,但theorey方面相比十年前并没有太突破的进步(不否认每年那么多best paper的进步,但是挖天坑的人很久没有出现了,GAN勉强算),反而更像是a bag of (not necessarily cheap) tricks. 如果能做research我更加希望可以回归理论研究,而不是继续apply tricks。可惜就我自学数学的过程中所遇到的困惑,和lack of creativity,大概是无法继续phd了。

和吐槽:
由此萌发了转行做quant finance的念头(或者在finance公司做researcher/strateg之类的量化岗),只是每个行业大约都是围城吧。与我们这儿比较好的mathematical finance program的alumni(职业risk quant)交流过后他反而劝我继续做我现在的。。。。(faceplam)可能正是因为我太过了解我们这儿的tech岗位(同学很多实习/全职developer)而不够了解finance相关(我们城市金融行业不发达)而产生了bias,如果是这样求打醒!

马上就要申请季,也很犹豫是该申top Master program in CS(美国master学费真是吐血,加拿大的thesis master还不错),top MFE/mathematical finance(虽然学费贵但是placement不错、intern工资也高),直接找工作(学历方面,我现在是我们大组四十多个人里最低的,别的 intern都至少master/phd在读,就我连本科都没毕业)。前两者的opportunity cost只是让教授些ref letter和申请文书,但是找工作的话可得开始花点时间刷题了。

最后的疑惑,请教前辈们(如果有的话):
以后想转tech公司的管理层的话,除了tech方面要不断学习新知识,在leadership方面有没有什么提高的方法?
如果可以的话,请学/从业quant finance的前辈们描述一下真实的quant finance industry?或者点醒我不切实际的幻想?
======= 我是2019年的分割线 ========
这篇是去年实习时候发的贴,没想到竟然上主页了额。看自己半年前的想法也挺有趣的,那我来update一下现状。

由于2018年下半年发生了很多personal的事,导致整个人一个学期都浑浑噩噩很丧也没有做research。最后master投了四五个地理位置和综合比较好的CS program,和2个应该不会去的MFE/MMF。同时工作上也投了一些SDE想着要不然先做着码农,之后转PM算了(此念头其实在实习时就有,因为发现空有技术不能把他们变成产品的话,其实并没有价值;当然只有好的idea却没有技术支持也没用)。中了几家,如果不出意外的话可能毕业之后会先工作,想清楚读什么方向、什么心态去读之后,再申请研究生。

这学期和另外一名导师做GNN在NLP上的应用,依旧是玄学,但新导师没有对linguistic的蜜汁执着,研究领域更偏methodology/architecture和learning paradigm。虽然依旧玄学,但换了一个全新的approach,从representation learning下手,且这个idea我也会有更多发挥的自由,所以想再试试最后一学期的research能不能挽救学术热情。



补充内容 (2020-9-24 22:46):
啊我觉得可以update一下这个漫长的故事。最后的结果是其实我既没有继续research,也没有转到finance领域。
我去FG中的某一家做SDE了,主要是考虑到想拿身份+积累工作经验+我是实用主义者,就去业界了

评分

参与人数 33大米 +230 收起 理由
BlackPen + 2 很有用的信息!
Le0Minor + 1 给你点个赞!
outlooker + 2 给你点个赞!
广百1 + 1 欢迎分享你知道的情况,会给更多积分奖励!
Sabrinacs松鼠 + 1 给你点个赞!

查看全部评分


上一篇:求问R Programming课程结束后视频还留着呢么?
下一篇:Stanford Machine Learning Week 1 打卡

本帖被以下淘专辑推荐:

推荐
酱油王 2018-6-4 15:16:48 | 只看该作者
全局:
非常同意LZ的说话,现在deep learning就是个死胡同,根本没有太大发展潜力了。这几年所谓的研究,就是把各种神经网络应用在之前没用过的地方,通过各种调参,争取在某个指标上一个点半个点的提升。顶多再加上在细节上调整一下网络结构,或者结合一下别的外部方法比如attention之类的。我看的顶会论文少说也有几十篇了,基本都是这种类型,而且我们看的已经是best paper级别或者大牛的文章了。
而且现在读ML/CV/NLP的bar远远高于其它方向。原本能上四大的人,如果选AI,就只能上TOP 10甚至TOP20。
再说AI现在火得要命,其实根本没太多落地场景,就算有基本也只有大公司的少数部门有所应用。再细分一些,现在也就CV应用多一点,NLP除了machine translation,还有什么能商用?机器博弈相关的东西,彻彻底底就是实验室里的玩具。即使是那些吹逼吹上天的公司,也没有什么应用,君不见,deepmind搞出AlphaGo当了个大新闻,但有哪些能落地的应用?前几次的AI兴起,粗略来讲,都是因为突然找个某个算法/方向,貌似很有前途,在实验任务上确实都有提升,就突然兴起了;但每次衰落,都是因为没法应用没法落地就衰落了。现在大公司的热情正在减退,等PhD毕业,说不定工业界就对AI完全不感兴趣了,那学术界肯定又是一波大衰退。
费了九牛二虎之力,吃了一波拒信,在一所保底校挤进AI的队伍,说不定以后还是做SDE还不如去一个彩票校冷门方向,开始就准备好做SDE,好好备战几年,岂不是美滋滋?
您好!
本帖隐藏的内容需要积分高于 180 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式
游客,您好!
本帖隐藏的内容需要积分高于 180 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Popular Interview Questions from Top Companies

评分

参与人数 14大米 +141 收起 理由
Jason001 + 3 给你点个赞!
Tokyo职人 + 1 赞一个
thinkoutofbox + 1 赞一个
qiyan + 1 赞一个
BeiieB + 3 给你点个赞!

查看全部评分

回复

使用道具 举报

推荐
LeeYYY 2018-6-5 16:25:28 | 只看该作者
全局:
楼主如果想在一流的hedgefund当Quant Researcher,去读个MFin/MFE绝对是在错误的道路上越走越远。。。100% Sure.

一流hedgefund,比如Citadel/Two Sigma全是找的MATH/EECS/STATS/Physics PhD. Finance背景的极少,MBA更加没戏。。。目前大型hedgefund全面都在转向machine/deep learning。楼主你厉害,居然反其道而行之。。。

Quant Researcher绝对是个纯技术活。

楼主千万不要因为一点点挫折而直接放弃最热门领域。这些全靠累积,不是所有人都能搞出有效的tricks的,这涉及到对问题的深入理解从而想出改进。

补充内容 (2018-6-5 16:27):
40万加币要做到manager才能拿这算算什么啊,你自己去看看CS Phd DL方向的都拿什么pay。分分钟30万USD

评分

参与人数 9大米 +113 收起 理由
biomedicineman + 5 给你点个赞!
bryanjhy + 3 给你点个赞!
BrendaZ0624 + 1 给你点个赞!
杨超越 + 3 给你点个赞!的确是这样的!
ycd927 + 1 赞一个

查看全部评分

回复

使用道具 举报

推荐
Euler57721 2018-6-9 23:55:09 | 只看该作者
全局:
Jing666 发表于 2018-6-9 19:12
云计算具体有些什么要学的呢?我能想到的就是distributed system和concurrent programming?怎么听着云计 ...

云计算分为Compute和Data两大部分。Compute主要学习Docker和Kubernetes,理解cluster里计算资源是怎么分配给多个Microservice上,存在哪些Overhead。Data可以学习Kafka,Spark和Cassandra,理解一条数据的整个Life cycle,以及数据处理和分析如何scale up。
回复

使用道具 举报

🔗
huieewu 2018-6-4 15:07:58 | 只看该作者
全局:
非常理解lz的感受,之前做了一陣子computer vision/deep learning 研究,從小白入門,但advisor很多地方解釋也屆是不清楚,或這說不太會跟我解釋。我就一路瞎子摸象,挫折重重。不過樓主發展的比我好太多了,接下來要怎麼走我確實無法提供建議
回复

使用道具 举报

🔗
 楼主| Jing666 2018-6-4 19:03:44 | 只看该作者
全局:
酱油王 发表于 2018-6-4 15:16
非常同意LZ的说话,现在deep learning就是个死胡同,根本没有太大发展潜力了。这几年所谓的研究,就是把各 ...

是啊。。我们公司是一个老牌公司,最开始专门做NLP/ASR的,现在CV也做一些,但是现在也逐渐被Apple,Google等自己的语音助手取代了。我看到的项目里能用上deep learning导致显著提升的还是相当有限,大部分问题不可能像学术paper那样简单粗暴的(CV不够了解,但NLP里summarization就用News article,text classification就用Amazon/IBDB那几个dataset,etc,理想真的相当美好了。。)
现在想的方向之一就是更注重底层distributed system和parallel programming,做一个“懂一些ML的engineer” 而不是“会写production code的researcher”
还有就是完全转行,不过quant finance我问了问一些从业者(和从业者的亲戚朋友),都说这行业是declining的/不适合每个人,叫我继续做AI。。。
简直太围城了

ps隐藏内容我的积分没够到,请问层主可以公开吗?
回复

使用道具 举报

🔗
酱油王 2018-6-4 22:21:16 | 只看该作者
全局:
Jing666 发表于 2018-6-4 19:03
是啊。。我们公司是一个老牌公司,最开始专门做NLP/ASR的,现在CV也做一些,但是现在也逐渐被Apple,Goog ...

啊,里面没什么的。就是关于教职以及自嘲而已。
回复

使用道具 举报

🔗
 楼主| Jing666 2018-6-4 23:56:25 | 只看该作者
全局:
huieewu 发表于 2018-6-4 15:07
非常理解lz的感受,之前做了一陣子computer vision/deep learning 研究,從小白入門,但advisor很多地方解 ...

我比较幸运,碰到了一个非常nice的AP肯带我,虽然pushy但是很耐心也很understanding,给了我很多帮助,就差帮我debug了。。。
回复

使用道具 举报

🔗
shiehjason 2018-6-5 01:36:07 | 只看该作者
全局:
现实就是这样 里面的人想出来外面的人想进去 各行各业都是这样。。。唉。。。
回复

使用道具 举报

🔗
zzrdwj 2018-6-5 02:27:44 | 只看该作者
全局:
搞搞gan,rl,博弈论
回复

使用道具 举报

🔗
nokolu5120 2018-6-5 02:50:39 | 只看该作者
全局:
酱油王 发表于 2018-6-4 15:16
非常同意LZ的说话,现在deep learning就是个死胡同,根本没有太大发展潜力了。这几年所谓的研究,就是把各 ...

非常疑惑为什么落不到实地呢?是因为做起来太耗费机器
resource了吗?还是说实际做出来的东西跟更简单的machine learning model相比实际上没有什么大的performance improvement?
既然工业界大家都知道没有办法至少在接下来几年甚至十年落到实地,为什么招人的时候还非要phd非要会这些东西呢?这样不会增加用人成本吗?
回复

使用道具 举报

🔗
 楼主| Jing666 2018-6-5 03:08:37 | 只看该作者
全局:
nokolu5120 发表于 2018-6-5 02:50
非常疑惑为什么落不到实地呢?是因为做起来太耗费机器
resource了吗?还是说实际做出来的东西跟更简单的 ...

因为analyze这些model的performance和做针对dataset specific的算法优化需要比较深入的研究。
落到实地有困难,简单的说就是,academic的paper只能给你勾勒轮廓,填充还是要自己干的,毕竟paper的目的也不emperical
业界(至少我们公司)还对这个抱希望可以提高我们的产品,但是这不是一件容易做到的事,我们的senior也一直在努力,但是task实在是太难且ill-defined。。。

不过这只是我们公司,别的不太了解
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表