机器学习和贝叶斯统计的关系

小白请问二者的关系是怎样的。

今年上了一门课，是从贝叶斯角度教Machine Learning. 由于对二者都不太了解，导致学起来吃力。老师比较硬核，一张ppt上只有一个公式，其余的全是空口解释。没有任何文字注释和代码实现。我现在也不清楚是老师讲课方式的问题，还是我背景不足的问题（应该都有）

我应该先补贝叶斯然后下次再选这门课，还是说ML有其它的角度入门，不一定是贝叶斯？
准备读博，也请问贝叶斯机器学习在学术/业界的应用场景

新人，问法可能不准确，请各位原谅！

用贝叶斯的观点入手机器学习，就是建模的时候对数据做概率建模，同时加入prior knowledge，p(x|theta)p(theta)，前者数据分布 后者先验分布。机器学习最常见的就是优化log likelihood，也就是log p(x|theta) + log p(theta)。这时候前者就是机器学习中的loss function，举个简单例子，当你假设数据服从高斯分布，你化简后发现前者竟然神奇的就是MSE loss，如果你再假设参数也服从高斯分布，你会发现后者就成了L2 regularization。

贝叶斯，条件概率，统计，数学方法，在所有输出的预测标签里面把条件概率最高的选项选出来当成预测结果，就可以是机器学习模型的输出。机器学习，用数据，包括监督学习（有标签），无监督学习（无标签），强化学习（多步输入单一反馈，胜局败局平局，求每一步的最优动作）。监督学习有分类（输出为离散值）和回归（输出为连续值），均可用贝叶斯方法。

可以查下generative model vs discriminative model

还有一些频率学派的观点

gbygby 发表于 2023-01-21 20:15:06
还有一些频率学派的观点

比如svm的vapnik的观点

哈哈听上去好像uiuc的abm