[Coursera] Stanford Machine Learning (Week #6)

previously:
第五周  http://www.1point3acres.com/bbs/thread-39054-1-1.html
第四周  http://www.1point3acres.com/bbs/thread-38980-1-1.html
第三周  http://www.1point3acres.com/bbs/thread-38449-1-1.html
第二周  http://www.1point3acres.com/bbs/thread-38107-1-1.html
第一周  http://www.1point3acres.com/bbs/thread-37810-1-1.html

关于本周SVM的内容，网上有一篇很好的笔记。请参考 http://blog.csdn.net/abcjennifer/article/details/7849812 (作者是sophia_qing)

SVM 的 Cost Function

该式中，cost0和cost1分别对应y=0和y=1时的目标函数定义，最后一项regularization项和logistic regression中的类似。

SVM —— Large Margin Classifier
SVM是一个large margin classifier。那么什么是margin？ 首先decision boundary是能够将所有数据点进行很好地分类的h(x)边界。如下图所示，我们可以把绿线、粉线、蓝线或者黑线中的任意一条线当做decision boundary，但是哪一条最好呢？这里我们可以看出，绿色、粉色、蓝色这三类boundary离数据非常近，i.e.我们再加进去几个数据点，很有可能这个boundary就能很好的进行分类了，而黑色的decision boundary距离两个类都相对较远，我们希望获得的就是这样的一个decision boundary。margin呢，就是将该boundary进行平移所得到的两条蓝线的距离，如图中所指。

SVM Kernel —— Gaussian Kernel
一个例子：原来在二维空间中一个线性不可分的问题，映射到四维空间后，变成了线性可分的！因此这也形成了我们最初想解决线性不可分问题的基本思路——向高维空间转化，使其变得线性可分。
核函数的基本作用就是接受两个低维空间里的向量，能够计算出经过某个变换后在高维空间里的向量内积值。在很多实际应用中，尽管给的问题是线性不可分的，但是我们就硬当它是线性问题来求解，只不过求解过程中，凡是要求内积的时候就用选定的核函数来算。
本节介绍了常用的核函数：Gaussian Kernel -- "You can think of the Gaussian kernel as a similarity function that measures the 'distance' between a pair of examples."

SVM Training过程
参考讲义ppt

作业 touchdown

哈哈哈。第七周。马上就学完了。

第6次作业

week 7~

】
第六次作业

week7 作业：

SVM homework

作业~

请问，楼主蓝色红色绿色线分别是什么意思？