从身在tech的PhD的角度聊一聊读博带来了什么

SakuraXTY 发表于 2021-5-10 05:47
我能理解水paper的行为。。但不代表我喜欢这种行为啊，hhh 而且不止国内，就算在美国ML学术圈现在水paper ...

水paper是没多大意思。 这些水组是不是学校排名比较低的啊？是国人的组吗？

nsc 发表于 2021-5-17 07:55
水paper是没多大意思。 这些水组是不是学校排名比较低的啊？是国人的组吗？

排名还真不低，我不方便说出来，是国人和印度人和越南人的组。。。。

SakuraXTY 发表于 2021-5-17 10:59
排名还真不低，我不方便说出来，是国人和印度人和越南人的组。。。。

谢谢cz回复。看来paper主要是得看人看组。
在排名一般学校的普通组里，要是老师指导比较少，自己不想水的话，不知发有质量的paper可能性怎样？

nsc 发表于 2021-5-18 22:10
谢谢cz回复。看来paper主要是得看人看组。
在排名一般学校的普通组里，要是老师指导比较少，自己不想水 ...

只要你有足够motivation，是可以写出有质量的paper并冲击顶会的，虽然难度会非常大。。。需要你花足够精力去探索一个方向，时刻追踪 state-of-art，并且有能力自己propose题目。但说实话一个人在ml这样的复杂环境里想杀出来的花是很有难度的，虽然不是不可能。

我个人建议是最好是能在校外找到一个足够靠谱的并且有经验的人带一带。可以conference勾搭或邮件勾搭，可以aim at一些 senior的phd，据我所知senior的phd有时候会有自己propose出来的题目，然后实验室有可能也没足够的小弟帮ta做。我自己也时不时收到这样的邮件。前提是你自己要做足了research，保证自己也对相应的area有足够的认知后再有目的有方向的去勾搭。这样别人回复几率会大一点。

不太同意，读完博士转码有以下缺点：
1. 思考境界更高，在project level没错。然而现实是，编译通不过，测试不会写，算法不会优化，基本计算机原理搞不清楚，别说5了，solid 4都做不到
2. 交流沟通水平仅限于本专业，人际交往、处理复杂问题基本没有
当然了，绝不是说读博不好，确实能够加深思考的深度，但这个能力因人而异，没法泛化，有的人读博是读到本专业顶尖水平，有的人读博是读到如何开阔眼界。但这些对tech行业都没有什么质的帮助，ML Phd除外…

SakuraXTY 发表于 2021-5-18 22:27
只要你有足够motivation，是可以写出有质量的paper并冲击顶会的，虽然难度会非常大。。。需要你花足够精 ...

谢谢cz回复！cz收到邮件是求合作求带的吧 :)

希望以后有合适机会校外找到人吧。目前感觉自己准备还不够，很多论文还没看。论文碰到难点主要得自己想，基本无人讨论。难点有些是数学相关的。一般的ml课其实也上过了，但optimizaiton 和 statistics方面不深入。考虑是不是系统地学下。optimzation看到有个Boyd的书很流行，statistics方面看到esl那本，好像针对性不是那么强，别花很多时间却用不上。cz对optimization和statistics的教程有没有推荐？（实际上也不太确定这两个方面是否是最重要的）。或者等看论文碰到难点再学那个部分会比较好？这样就是比较零散

nsc 发表于 2021-5-19 23:40
谢谢cz回复！cz收到邮件是求合作求带的吧 :)

希望以后有合适机会校外找到人吧。目前感觉自己准备还不 ...

我主要搞optimization的（深入学的），stat的全是看rl方面的（深入学的）不知道对你有没有帮助
optimization我觉得boyd的书写的不够深入，我个人感觉是对于搞research是不够实用的。我推荐prof. lan的书 https://www.springer.com/gp/book/9783030395674，对我帮助挺大

stat我是看kakade的书，如果你不搞rl可能对你帮助不大：https://rltheorybook.github.io/rltheorybook_AJKS.pdf，这个对rl的research 帮助挺大

SakuraXTY 发表于 2021-5-20 00:39
我主要搞optimization的（深入学的），stat的全是看rl方面的（深入学的）不知道对你有没有帮助
optimiza ...

谢谢推荐！两本书都是高质量的。RL我目前不搞，但很多内容是相通的。ML里面常用的数学工具还有linear algebra, cz这方面也有推荐吗？

再就是ML目前很多方向，例如grahp neural network，看了一些，但主要围绕GCN变化，理论多是从cv借用，这类方向似乎不合适偏理论的人去搞？还有其他很多活跃领域cz怎么看

nsc 发表于 2021-5-20 22:25
谢谢推荐！两本书都是高质量的。RL我目前不搞，但很多内容是相通的。ML里面常用的数学工具还有linear alg ...

linear alg 遇到啥就现学吧，随便找本matrix analysis

research 方面说实话我是偏理论的，主要是optimization和RL，design algorithm这类，太玄学的那些我不太懂

补充内容 (2021-05-21 02:07 +8:00):
最近理论比较火的就是RL这块了，不过卷的有点厉害红利快不够吃了。我关注的领域的话理论这边adversal learning最近又被炒冷饭起来了，meta and fed learning这边水paper的比较多所以搞得也挺多。

SakuraXTY 发表于 2021-5-20 23:34
linear alg 遇到啥就现学吧，随便找本matrix analysis

research 方面说实话我是偏理论的，主要是optim ...

哈哈 cz说这几个领域都有关注，看过几篇经典paper。还真不知adversarial是冷饭炒起来的，以为一直热的呢。这几个领域比较适合搞理论的人吗？