搞统计学习有前途吗

匿名用户 发表于 2023-04-09 22:28:29
是吗？我看COLT有些同行做的很不错啊，当初我还以为是个好方向呢，所以其实是dying？哪怕从统计学术的角度看？

what is the point of a generalization bound if it cannot be useful? 如果一个bound并不vacuous，那么有用。如果一个bound可以转化成算法，也是有用的。纯数的抽象给了我们新的数学工具，但是TCS的抽象，说实话，给了我们到底什么呢？stat learning theory有趣固然是有趣，自己能移除几个log当然也很不错，但得问问自己到底最终的目标是啥吧

补充内容 (2023-04-10 23:05 +08:00):
提一下历史背景，其实stats learning theory是当年AI寒冬大家转移注意力去做的一个方向，于是当时就出现了rademacher complexity vc dimension这些概念。但如今，modern 的恶learning已经通过empirical experiments找到了正确的方向，这些概念和generalization bound全都vacuous了，无法解释double descent，而且特别loose. 真的要做stat learning theory，你肯定更不上empirical DL的进展。

一直没搞明白统计学习和机器学习的区别，也许统计学习算理论版机器学习？

YilunKuang 发表于 2023-4-10 08:01
what is the point of a generalization bound if it cannot be useful? 如果一个bound并不vacuous，那么 ...

太感谢前辈的insights了！那要是比如statistical inference, optimization和statistical learning的交叉研究呢？两边都来一点

匿名用户 发表于 2023-04-10 09:53:40
太感谢前辈的insights了！那要是比如statistical inference, optimization和statistical learning的交叉研究呢？两边都来一点

看你目标，stat inference和optimization还是不错的，但我不做这个我也不了解，而且inference&optimization你会有投行/prop shop/hf的quant的exit option. 这种可能是在Top Stats & IEOR PhD来做比较好，很多人最后也许找教职了，但教职真的是神仙打架。我个人是听说最近DL领域一些大模型出来后，很多PI也挺迷茫不知道要做什么的，大家也是走一步看一步。