从身在tech的PhD的角度聊一聊读博带来了什么

SakuraXTY 发表于 2021-5-21 23:03
rl这边online做完了，最近做offline的多，做regret分析，你得懂点stat这边的东西，offline这块还有一些op ...

cz对这些领域都能概况出关键，做理论的好处吧。个人目前还处在努力读懂paper阶段，像meta learning 有Finn的那篇MAML paper，间隔看了多次，花了好长时间才搞懂，再看后续的Reptile paper就知道自己理解还是不够深入。

cz提到adv learning，现在的learning theory based analysis，能推荐一两篇经典paper吗，看到allen zhu有篇feature purification好像adv相关，不过90多页paper，难度小不了。

nsc 发表于 2021-5-23 05:30
cz对这些领域都能概况出关键，做理论的好处吧。个人目前还处在努力读懂paper阶段，像meta learning 有Fin ...

adv learning的话quanquan老师来一波～https://arxiv.org/abs/2104.09437
. 1point3acres
meta learning的话finn写的本来就很浮夸，好多math都不写清楚，本来就不方便理解（或者说她本来也不打算让读者好好理解，hhh，我一直看不惯搞practical那帮人浮夸的不老实的写作风格

你想好好理解meta的话我推荐读这个 https://arxiv.org/pdf/1908.10400.pdf， 搞理论的人写的一般都math详细，读起来顺。不过meta这块搞理论最近卷的厉害，hhh，好多搞optimization的组都在水

SakuraXTY 发表于 2021-5-23 06:12
adv learning的话quanquan老师来一波～https://arxiv.org/abs/2104.09437

meta learning的话finn写的 ...

谢谢cz回复。最近看了下cz推荐的两篇论文，Gu那篇发现目前看不下去，看来基础还是不太够。meta-learning那篇相对好懂，的确对深入理解一些细节很有帮助。
cz搞理论，是一开始就立了这个目标吗，还是恰好去的组也搞理论，符合自己兴趣特长？感觉有个小组环境还是非常重要的。组里的人以前的数理基础也都相当强吧？

nsc 发表于 2021-6-21 10:58
谢谢cz回复。最近看了下cz推荐的两篇论文，Gu那篇发现目前看不下去，看来基础还是不太够。meta-learning ...

哈哈，不是自己选得，我本科是机械，没CS的老板要我，正好现在老板当时应为某原因没招到学生但正好有了funding就收下我了，然后就在理论路上越走越远。我们组的话感觉还好，大部分是本科ee的，之前也没搞过什么理论，都是来了再学的

看完感同身受，今年八月博士毕业，能切身的感受到楼主说的那个点：PhD重要的是那个磨炼的过程。我是学物理的，同事的一个美国小哥曾经说过，我们读PhD的，忍耐能力就是比别人强（虽然他中间由于老板放鸽子quit了。。。）。给您点赞！

从刚开始老板吐槽PPT做的是个啥，到现在看老板的PPT觉得一言难尽，这就是成长吧。

SakuraXTY 发表于 2021-7-5 15:37
哈哈，不是自己选得，我本科是机械，没CS的老板要我，正好现在老板当时应为某原因没招到学生但正好有了fu ...

谢谢回复！cz的机会不错，感觉你们老师也比较强，现在搞ML的倒是很多，但能做理论的很少。

个人打算系统看下optimization方面，在看cz推荐的Lan老师那本。目前看第二章中，讲解很简略，感觉不是很好读，不知是作者讲得不太清楚，还是自身基础还不太够的缘故。请问cz刚开始看这本书的时候，不知整体感觉怎样？

nsc 发表于 2021-7-11 17:10
谢谢回复！cz的机会不错，感觉你们老师也比较强，现在搞ML的倒是很多，但能做理论的很少。

个人打算系 ...

我看起来还好。。。emmm，lan老师那本可能有基础后看了才comfortable一些，那些证明比较reserach，不是特别textbook的风格，你可以找一些网上的Note一起看。比如说 princeton 的 Yuxin Chen 关于 optimization的slides

根据我自己组（20+ SDE）的经验，招进来的新人如果有PhD学位的话一般水平还是有保障的，至少不会低于平均值，当然在工业界最终能混的怎么样主要还是看个人能力。
就我个人而言，读PhD最大的收获是开阔了眼界，培养了分析解决问题的能力，还锻炼了在压力下deliver的能力，这些都对我在职场上的进步帮助很大。
代价就是时间 。。 三十岁才开始混职场还是比较吃亏的。。