[Coursera] Stanford Machine Learning (Week #5)

previously:
第四周  http://www.1point3acres.com/bbs/thread-38980-1-1.html
第三周  http://www.1point3acres.com/bbs/thread-38449-1-1.html
第二周  http://www.1point3acres.com/bbs/thread-38107-1-1.html
第一周  http://www.1point3acres.com/bbs/thread-37810-1-1.html

发现网上早有前辈写过这门课的笔记了，所以直接摘抄了他们的笔记。详细的原版本笔记请参考 http://52opencourse.com/217/ (作者是52nlp)

1) 学习算法诊断
假设你实现了一个正则化的线性回归算法模型来预测房价，却发现预测出来的数据是很不准确的，那么，下一步该干什么？
- 获取更多的训练样本  (解决overfit)
- 尝试使用更少的特征的集合  (解决overfit)
- 尝试获得其他特征 (解决underfit)
- 尝试添加多项组合特征 (解决underfit)
- 尝试减小用于正则化的参数lambda (解决underfit)
- 尝试增加lambda (解决overfit)

2) 模型选择和训练测试
对于原始的数据集，一种比较典型的划分方式是60%的训练集，20%的交叉验证集以及20%的测试集。在实际使用时，我们通过训练集学习到参数, 再计算交叉验证集上的error,再选择一个在验证集上error最小的模型，最后再在测试集上估计该模型的泛化误差(实际应用中的error)。

3)高偏差(high bias)和高方差(high variance)
假设你的学习算法表现的不尽如人意，没有达到你的期望，如何来判定它是一个偏差的问题还是方差的问题？可以计算他们的训练集误差和交叉验证集误差。高偏差(欠拟合underfit)时，训练集误差和验证集误差都比较大；高方差(过拟合overfit)时，训练集误差会很小（拟合的非常好），但是验证集误差却很大。

4) 正则化和偏差/方差的关系
如果正则化参数lambda过大，那么所学的其他参数都将近似为0，这就是欠拟合或高偏差的情况。反之如果过小，等于没有对线性回归模型进行正则化，那么过拟合高方差的问题容易出现。

4) 精确度和召回率
例子： 假设我们非常有把握时才预测病人得癌症（y=1)， 这个时候，我们常常将阈值设置的很高，这会导致高精确度，低召回率(Higher precision, lower recall);
假设我们不希望将太多的癌症例子错分（避免假负例，本身得了癌症，确被分类为没有得癌症）, 这个时候，阈值就可以设置的低一些，这又会导致高召回率，低精确度(Higher recall, lower precision);
最后，同时综合了precision和recall的衡量值 F-score = 2*P*R/(P+R)

版主，我一直在跟这门课，怎么领学分？wwtpcsuper 说发作业截图，是用什么title形式发到哪里？

defjex 发表于 2012-9-19 05:03

谢谢defjex，虽然我权限不够不知道你附件是什么样子的，不过我大概知道怎么领学分啦~~

直接在该课程每节课的总结贴里贴作业截图~~~

本周编程作业：http://www.freeimagehosting.net/4ai5m

怎么领学分呀 我也在跟这门课已经做完week5 的作业了 现在一心想挣积分……

怎么领学分呀 我也在跟这门课已经做完week5 的作业了 现在一心想挣积分……

lakayii 发表于 2012-9-22 20:19
怎么领学分呀 我也在跟这门课已经做完week5 的作业了 现在一心想挣积分……

我前4周的作业补交了，求学分~

lakayii 发表于 2012-9-25 18:21

好了 你看看对不对， 四周作业不能才加1分呀= =