关于AI phd的前景

SakuraXTY 发表于 2018-8-14 04:21
作为deep learning theory方向在读的，我认为机器学习领域没那么容易破，可能5年后热度会下来，但我认为机 ...

现在dl还是主要集中在deep nn吧。兴许过几年出来个deep blabla，还能继续用。

DL跟统计的思路就是完全相反的。In statistical model selection criteria，more model complexity means more penalty，and it is desired that every covariate included in the model should be interpretable. DL给我的感觉是完全不提variance bias tradeoff了，怎么能减小error怎么来。

我自己的理解是neurons are transformed/combined effects of the observed covariates. DL performs well  because those neurons (transformation or combination) recovered certain influential but unobserved covariates. These effects are unobserved so of course not interpretable.

多宝鱼 发表于 2018-8-14 12:01
现在dl还是主要集中在deep nn吧。兴许过几年出来个deep blabla，还能继续用。

DL跟统计的思路就是完全 ...

对于deep nn的performance楼上的见解很high level啊，佩服。我搞到现在也也不敢有什么high level的理解，特别是deep nn为啥generalization好。关注的比较多的是从算法角度来具体看收敛到的classifier或function有什么inductive bias，做的都是简单一两层的模型，对于复杂模型稍微具体一点的理论证明都是不可能的，为什么表现好我感觉可能永远是个玄学了

SakuraXTY 发表于 2018-8-14 12:25
对于deep nn的performance楼上的见解很high level啊，佩服。我搞到现在也也不敢有什么high level的理解， ...

high level可不敢当哈，毕竟我只知道个皮毛，自己还真没用过DL。
只能说，统计本来就是上帝投骰子的玄学。学了很多model，玩了一些data，有时候会想一些这样的fundamental的问题。只能说老祖宗说的all models are wrong, some are useful是真理。

多宝鱼 发表于 2018-8-14 13:23
high level可不敢当哈，毕竟我只知道个皮毛，自己还真没用过DL。
只能说，统计本来就是上帝投骰子的玄学 ...

哈哈，这句话太精辟了！

劝退是因为跟AI相关的PhD非常难申....
不会凉的 找个工作还是轻松的

读phd难道不是兴趣使然，还考虑那么多泡沫什么的，5年前网络方向的phd都申请爆了，那时候谁能想到现在会凉成这样。
再说，现在除了AI方向，CS下面还有什么方向是真的有很大市场需求的？
读phd要是考虑那么多，不如先读个ms观望一下市场？

Everybody accuse of DL being "not stable" but think about it, it is DL's instability that make DL engineers or scientists necessary to design and maintain the model. If somebody comes up with a stable and powerful and interpretable model then why companies would hire ppl for that: AI will become a one time deal.  

我觉得research做得好的大牛，是做CV的就说自己做CV，是做NLP的就说做NLP，而且会进一步说方向里的哪一块，AI是说给外行听的，动不动AI AI的你不觉得很傻么？CV NLP这种永远不会过时，最多不像现在这么邪乎，可能稍微降温一下又恢复正常了，但是这一块肯定是需要人而且很重要的。

[quote]

Jing666 发表于 2018-8-13 22:17
LZ要是想追热点就还是别投机了。找一个自己喜欢的方向好好读。要是想投机那就打好基础做software eng吧。
...

Hinton和Sutton那年代，教职可比今天好找多了...
对于大多数人，你必须能够先survive才能考虑别的问题。