[Coursera] Stanford Machine Learning (Week #2)

previously:
第一周  http://www.1point3acres.com/bbs/thread-37810-1-1.html

这周发现网上早有前辈写过这门课的笔记了，所以直接摘抄了他们的笔记。详细的原版本笔记请参考 http://52opencourse.com/125/ (作者是52nlp)

这章讲了两块内容：Logistic Regression和 Regularization。

先是Logistic Regression的内容
1) Classification(分类)

分类是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。这时，输入变量X可以是离散的，也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数，称为分类器(classifier)。分类器对新的输入进行输出的预测(prediction)，称为分类(classification).

2) Hypothesis Representation

对于二分类问题来说，线性回归模型的Hypothesis输出值可以大于1也可以小于0。这个时候我们引出逻辑回归，逻辑回归的Hypothesis输出介于0与1之间。这个被使用的函数称为Logistic function。

3) Decision boundary(决策边界)

给定一个决策边界。当输入的数据使它大于0或小于0时，逻辑回归模型分别预测不同的分类结果。最简单的，线性决策边界y = 0.5，这时大于0.5就被预测为1，反之则预测为0。

4) Cost function(代价函数，成本函数)

我们知道，线性回归的Cost Function是凸函数，具有碗状的形状，而凸函数具有良好的性质：对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值点。
可是，线性回归的Cost Function对于逻辑回归是不可行的，因为它是“非凸的”。因此，我们选择对数似然损失函数作为逻辑回归的Cost Function。

5) Simplified cost function and gradient descent(简化版代价函数及梯度下降算法)
简化公式请参照讲义。 逻辑回归的梯度下降算法跟线性回归的相似，除了hypothesis的对应公式不同而已。


接着是Regularization的内容
1)  The Problem of Overfitting(过拟合问题)

如果我们有非常多的特征，那么所学的Hypothesis有可能对训练集拟合的非常好，但是对于新数据预测的很差。
针对过拟合问题，通常考虑两种途径来解决：
a) 减少特征的数量：
-人工的选择保留哪些特征；
-模型选择算法（之后的课程会介绍）
b) 正则化
-保留所有的特征，但是降低参数   的量/值；
-正则化的好处是当特征很多时，每一个特征都会对预测y贡献一份合适的力量；

2)  Cost Function(成本函数)

     模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或罚项(penalty term)。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模型参数向量的范数。
     正则化符合奥卡姆剃刀(Occam's razor)原理。奥卡姆剃刀原理应用于模型选择时变为以下想法：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也就是应该选择的模型。从贝叶斯估计的角度来看，正则化项对应于模型的先验概率。可以假设复杂的模型有较大的先验概率，简单的模型有较小的先验概率。

3)  Regularized Linear Regression(线性回归的正则化) 和 Regularized Logistic Regression(逻辑回归的正则化)
公式参照讲义

编程作业2 搞定

作业2截图

logistic regresssion:

week 3 编程作业：http://www.freeimagehosting.net/uxxdq

总算搞定了，week3

每次都在deadline前做完...壓力不是一般大啊....

领学分喽~~~~~

第二周的作业