Bishop PRML自学打卡帖

看了第一章信息论部分，当观测一个离散型随机变量的取值时，我们所获得的信息与该随机变量取值的概率有关，information content h(x) = -log2p(x). 信息墒则定义为观测/传输某一变量的average information content。信息熵也可被看作是average amount of information needed to specify the state of random variable，故其职对应与noise coding theorem中的shortest coding length。熵的取值与随机变量的分布相关，通过使用Lagrange multiplier 或者Jensen’s inequality 可求得离散型随机分布为uniform distribution时，所对应的信息墒最大。

对连续型随机变量，定义了微分熵，利用Lagrange multiplier，证明了当连续型随机分布为正态分布时，微分熵取最大值。但是证明过程中使用的constraints似乎就imply正太分布，这样的constraint设置合理吗？？？
介绍了relative entropy，KL散度，表示用某种distribution q(x) 来近似实际distribution p(x)来construct conning schema时，所需的而外information量。利用Jensen’s inequality, 证明KL散度始终 >= 0, 并且只在p(x) == q(x)时，等号成立。
介绍mutual information：表明变量x, y的相关性。KL散度的一种特殊情况用p(x) * p(y) 来近似p(x, y). 这一章用到很多数学推导。

facebbook 发表于 2019-7-17 22:25
可以参考 CMU  ，Russ Salakhutdinov， Geoffrey Hinton 的学生
10707 (Spring 2019): Deep Learning  课 ...

感谢分享 紫薯布丁

坚持就成功！

可以组个队啊 大家一起搞

这本是神仙书