[Coursera] Stanford Machine Learning (Week #4)

previously:
第三周  http://www.1point3acres.com/bbs/thread-38449-1-1.html
第二周  http://www.1point3acres.com/bbs/thread-38107-1-1.html
第一周  http://www.1point3acres.com/bbs/thread-37810-1-1.html

发现网上早有前辈写过这门课的笔记了，所以直接摘抄了他们的笔记。详细的原版本笔记请参考 http://52opencourse.com/174/ (作者是52nlp)

1) 神经网络模型中的Cost function
        在逻辑回归中，Cost Function的定义相对简单，如下所示：
        

        由于神经网络的输出层通常有多个输出，属于k维向量，因此用如下的方式定义神经网络的Cost function:
        

        对于训练集的每一个样本，都需要对输出层所有的输出单元计算cost并求和。

2) Back Propagation
在上一课“神经网络的表示”里，我们给出了前馈网络的计算方法（向量化实现），对于一个给定训练样本(x, y)的神经网络，首先通过“前向传播”的方式从输入层开始计算神经网络的每一层表示，直到输出层。
如何计算梯度？这个时候，我们引入反向传播算法，简称BP算法。反向算法的核心是最小化网络输出值和目标值之间的“误差”。
至于BP算法的具体步骤，编程作业pdf的第8页-第9页。

3) Putting it together
        首先需要确定一个神经网络的结构-神经元的连接模式, 包括：

•   输入单元的个数：特征 X 的维数；
•   输出单元的格式：类的个数
•   隐藏层的设计：比较合适的是1个隐藏层，如果隐藏层数大于1，确保每个隐藏层的单元个数相同，通常情况下隐藏层单元的个数越多越好。
  

        在确定好神经网络的结构后，我们按如下的步骤训练神经网络：
        1. 随机初始化权重参数；
        2. 实现：对于每一个 X   通过前向传播得到 H(X);
        3. 实现：计算代价函数J；
        4. 实现：反向传播算法用于计算偏导数
        5. 使用梯度检查来比较反向传播算法计算的和数值估计的的梯度，如果没有问题，在实际训练时关闭这部分代码；
        6. 在反向传播的基础上使用梯度下降或其他优化算法来最小化J;

發錯帖子了....下周補上Week 5的....

这次作业中计算出的difference的值一直不够小，最后在论坛上找到了答案。。

第四周的作业

第四次作业

hw 4

作业~

学分万岁~~