有人给我介绍下贝叶斯统计吗？简单的说说。。。。

申的是贝叶斯统计方向，现在面试。出了维基百科出来的一些，有人能简单给我介绍先贝叶斯统计是研究什么，做什么应用呢？因为我只有在概率论里面接触过一点贝叶斯，所以不是很清楚这个

回复 1# snowdustdj

申请duke吗？ Bayesian analysis 和传统分析方法最大的不同就是对于待估计参数的看法不同。频率学派认为参数就是一个数，有一个真值，所以他们需要做的就是去估计这个值，于是就有了asymptotic analysis. 也就是说我们求得的什么渐近分布是我们的用来做估计的统计量的分布，而真值只是一个数值。但是Bayesian中并非把参数看成是一个数，而是直接看成一个随机变量。而我们的目标就是去求得这个随机变量的分布。一般而言，我们对于这个随机变量可能会有一些先验的知识，也即prior distribution. 然后根据我们实际得到的数据和这个先验分布我们就可以求得一个posterior distribution. 而这个分布就是我们估计所得的参数分布。求这个分布的公式即是概率论中的bayes公式。 求得posterior distribution之后，我们就可以做很多统计推断，比如我可以用这个分布的中数或者最高点来估计这个分布，注意到如果先验分布假定为均匀分布的话，最高点的估计值和频率学派中的极大似然估计是一致的。

以前对bayes和频率两种方法的孰对孰错的争论还是很多的。不过现在来看这两种方法在很多地方都能一一对应起来，所以互相之间的排斥也就没那么严重了。具体实现中来看，bayesian的想法更自然一些，而且方法更偏重于处理繁杂的计算问题，经常会碰到求多重积分的问题（bayes公式中），而理论证明并非是bayesian分析的重点，所以说是statistical computing也不为过吧。举一个直接的例子，比如说有一张网络，sample是每个结点上的观测值。我们希望推断各个点之间是否由边连着（边连着则表示互相之间条件相关）。那么直接的想法就是假设这个图是一个Bernoulli图，假设边出现的概率为P=0.5，那么相当于我们给每一个可能的网络都附了一个概率。然后我们就可以根据这个分布和实际的观测数据写出网络的后验分布了（注意网络的后验分布不一定是一张Bernuolli图了，它的分布由bayes公式计算确定），然后我们就可以根据这个分布来挑选一个我们认为最有可能的图作为我们的推断。

不过实际中会更困难，因为这个后验分布很难算。注意到分母中是一个partition function它由2^p个部分组成（p是节点数），或者可以把它看成是p个示性函数的多重积分，无论怎样都很复杂，因此在实际科研中大家基本上都采用MCMC的方法来做近似计算。关于MCMC算法大家应该都不陌生，当然现在还有了很多改进的MCMC算法，不过基本想法是一致的，就是利用马氏链的不变分布来抽样，然后利用Monte Carlo的思想来计算。 这些方法虽然思路很简单，但是实现起来其实很麻烦，写程序做模拟，各种问题都有。（但其实频率派里的方法需要做最优化，也有很多tricky的问题）

那么碰到实际的问题，我觉得是频率派的方法比较直接，好接受，但理论不好做，证明比较难，现在来看算法上大家也是力求简单。而Bayesian的方法很自然，思路简单，但是计算上实现起来比较复杂，而且人家理论证明讲的少，更重视计算的实现和结果。

lz是什么时候完成的申请啊，同申了MU，但现在还显示的是Incomplete....

P（AB）=P(A|B)P（B）=P（B|A）P(A)

回复 2# demonhunter

哈哈，你这个介绍太有趣了。最近有消息没？

P（AB）=P(A|B)P（B）=P（B|A）P(A)
demonhunter 发表于 2012-1-30 23:39

不是应该是先验后验那个么...

回复  demonhunter

哈哈，你这个介绍太有趣了。最近有消息没？
tengz 发表于 2012-1-31 01:46

至今三无。

我觉得你看肯定懂我那个式子想说什么了。

回复 6# demonhunter

我当然明白，不过从这个介绍里实在太难看出什么

回复  snowdustdj

申请duke吗？ Bayesian analysis 和传统分析方法最大的不同就是对于待估计参数的看法不同。频率学派认为参数就是一个数，有一个真值，所以他们需要做的就是去估计这个值，于是就有了asymptotic analysis. 也就是说我们求得的什么渐近分布是我们的用来做估计的统计量的分布，而真值只是一个数值。但是Bayesian中并非把参数看成是一个数，而是直接看成一个随机变量。而我们的目标就是去求得这个随机变量的分布。一般而言，我们对于这个随机变量可能会有一些先验的知识，也即prior distribution. 然后根据我们实际得到的 ...
wwrechard 发表于 2012-1-31 02:21

讲的太好了！把我知道的一些片段都连接起来了，太感谢了！

回复 8# snowdustdj


不客气，不过想请问下这是Duke的面试吗？

回复  snowdustdj


不客气，不过想请问下这是Duke的面试吗？
wwrechard 发表于 2012-1-31 11:22

不是，密苏里的，他家好像贝叶斯研究的人也挺多。Duke没敢申