自我监督 打卡公开课

Classification (90min) 一个小时，做到练习题的时候实在做不动了……明天接着来吧

不知不觉就偷了两天懒，怪不好意思的嘿嘿嘿。今天花了半小时跑了Classification的练习题，发现这一套教程里面colab练习题有缺陷。

首先他设计的更像playground，真正coding比较少，猜想是audience多半是程序员，这几行code都不够他们看的，写不写的无所谓吧。我个人感觉是写一写影响更深刻，弥补的办法就是自己做笔记，或者是download自己的code as .ipynb到local/drive/github, 因为默认的练习模式下save是disabled的。

晚上找个时间干掉 Regularization: Sparsity (45 min)

回来报告下，这两天加班加毁了心……之前做掉了 Regularization: Sparsity (45 min)。 对比L0, L1, L2, 讲解的不错。还是上次的问题，练习题越来越少动手了，说是完成要20分钟，其实都是在等model run，不要coding只要调参，真是ML scientist的伊甸园了。数据集太过家家，练习还得上kaggle。
不过在拓展阅读的时候看到一个UW online learning课程https://courses.cs.washington.edu/courses/cse599s/12sp/index.html。略感兴趣，mark住，以后再翻翻。

今晚争取看掉Intro to Neural Network (55min)

补充内容 (2018-6-24 13:35):
UW online learning课程https://courses.cs.washington.edu/courses/cse599s/12sp/index.html

Neural Network (55min)  普通的一个章节，做了一个小时左右，playground设计的很形象，不知不觉就玩了很久。code用了DNNRegressor，简单了解了一下。
扩展阅读不错，贴在这里，很适合NN学习入门http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/

楼主加油

今天看完了 Training Neural Network (45min) 内容不算很多，泛泛而谈了反向传播，ReLu可能会死，Gradient可能会消失或者爆掉，dropout regularization。coding练习泛泛而谈了两个新的optimization方法，adagrad和adam，以及几个normalization方法，lognorm，zscore etc.

有个不错的链接讲Backward Propagation https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/
我点开也是中文，没发现怎么改成英文，也不算特别困扰了。
明后两天还有一节NN一节Embedding就结束正课了，一点engineering的介绍以后，就是实操项目了，本帖关张大吉指日可待了。

走过路过，给个鼓（大）励（米）

昨天又偷懒了，今天看了Multi-Class Neural Networks （50min）讲了full softmax和candidate sampling不太满意的是softmax的scores到loss function完全没讲清楚，我也想不起来以前课上怎么说的了，不得不google之...翻出来Li Feifei在Harvard的讲义，链接甩这儿了http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture3.pdf 非常简明易懂，风格很像原来我线性代数老师。若是只想看softmax loss funtion翻到37页。
（再次吐槽google这课程数学讲的太浅了，面向美帝大众阶层吧）
code练习终于开始用 a sample from MNIST了，就是太慢了，做不了几个实验。

补充内容 (2018-6-20 14:40):
修正，Li Feifei 在Stanford的讲义……

为自己加油加盐加大米（包粽子的前奏），最后一节课！！！！！

Embeddings (80mins)就看了半小时，困了，往后看了下，code练习是一个sentiment analysis，明天再来。