[Coursera] Stanford Machine Learning (Week #1)

Andrew Ng老师又来教我们ML了   

这周老师讲了以下重点：

1. Machine Learning definition
A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.
两种ML方法: Supervised 和 unsupervised。 supervised的例子有 Regression (Predict) 和 Classification。 unsupervised的例子有Clustering。

2. Linear regression with one variable
给出一个（拟合的）目标函数，但参数未知。regression的目标就是去minimize一个cost function，这个cost function是把原函数的参数作为未知数，把sample data带入cost function，对偏差求和，当偏差和最小时就得到了理想的（原函数的）参数。
如何解cost function：Gradient Descent，只要目标函数有全局最值点，可从任意点开始，逐步更改坐标（坐标变换的方向为当前点的一阶最小方向），知道最后（坐标变换带来的值变化）收敛。

3. 线性代数复习
复习几个知识点: matrix addtion / scalar multiplication / matrix-matrix multiplication / not commutative / identity matrix / matrix inverse / matrix transpose

4. Linear Regression with multiple variables
思路跟单变量一样的。不同点是这里目标函数中变量有多个意味着cost function里的参数就有多个。做GD时坐标变换需要做 feature scaling, mean normalization，保证每个sample data都能被公平的学习到。
polynomial regression：如果目标函数是polynomial的，把那个polynomial的看作一次（对输入的数据作开根号处理）就可以转化成linear regression问题了。
最后老师搬出杀手锏Normal Equation：既然我们知道目标函数了，直接用二阶求最值不就得到解了 ^^ 接着推算出那个著名的公式 Theta = inverse(trans(X)*X)*trans(X)*y  缺点是n很大的时候慢（因为矩阵乘法慢 O(N^lg7) 算法导论28.2）； 另外很显然， trans(X)*X 也许根本就是non-invertible的，这种情况可以考虑把redundant (linear dependant) 的数据去掉。


编程作业

交matlab code，可以用matlab或者 Octave (老师已提供)
Warm up exercise 练语法 - 10 points
Compute cost for one variable - 40 points
Gradient descent for one variable - 50 points
Total Points 100 points

恩 编程作业1 搞定

  

defjex 发表于 2012-8-21 23:53
恩 编程作业1 搞定

真迅速~~~

Andrew Ng的课内容比较广泛，很多东西能够深入浅出的说清楚。
就是理论性证明不太强。
不知道还有没有理论性较强的ML公开课？
cost function应该是从cross entropy先推导出来再使用的。

占个楼~刚开学有点忙，周末看去哈~

by the way,是把提交作业的截图传上来就可以加学分么哈？

与楼上同问 另外是一定要programming exercise才能加学分吗？review quiz行不

刚学完week1 还未做作业

这个ML第二期和第一期内容完全一样吗？
还是advanced version？

折腾了大半天，总算完成了