自我监督 打卡公开课

牛人请绕道本帖。
这是一门非常适合ML入门／复习基础的课程，去年就想刷完但懒癌发作没能坚持，今年12月狗家开源了这个课和他们的colab，感觉再不学习就要跟不上刘少奇了，开帖自我监督。

地址在这里：https://developers.google.com/machine-learning/crash-course/

下了班今晚打算花一小时把去年刷过的快速温习了一遍，分别是：
Introduction to ML (3min)

Framing (15 min)
Descending into ML (20 min)
Reducing Loss (60 min)

括号里面是课程给的预计时间（这时间是怎么算得呢？难道是开源以后所用用户时间的某种平均？不知道和内部课程平均时间比会不会增加？假设google员工整体来说比非员工要聪明一些？……想多了）
接下来打算用14天时间，每天1-2小时迅速刷掉，如果值得的话再追加两天review，take和整理笔记。

好啦，要打开学习模式了，地里的朋友给我加油吧，加盐也行。


补充内容 (2018-6-25 03:15):
楼主6／23正式学完此课，自我感觉收获颇丰，理论知识得到了加强，对TensorFlow也有的初步了解。

诶又逃掉了两天。今天把Embeddings看完了，讲义和视频很不错，互相配合的来的，从Embeddings的motivation，到提取feature，到implementation，围绕IMDB一个数据集 end2end来了一遍。内核打开说了两种，PCA一个链接https://en.wikipedia.org/wiki/Principal_component_analysis，word2vec一个链接https://www.tensorflow.org/tutorials/word2vec。后者我还没细看，发现TF doc里面还有几个tutorial，扫了一眼标题，倒是按ML应用比较多到几个问题来组织的，看上去有用到样子。
本集差评在code练习，冗长，confusing，把简单概念说复杂了，其实就是对比linear和DNN两种implement 方式，在DNN里面对比了indicator_column 和embedding_column两种feature提取方式。还不如源码注释简明易懂https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/feature_column/feature_column.py
说些什么超出vocabulary的词用oov，用hashing，信息量太密集也没有说的明白，还不如看doc https://www.tensorflow.org/api_docs/python/tf/feature_column/categorical_column_with_vocabulary_list
其他的feature method我也没细看，挖个坑先。
总之练习题不太好，这一节。

补充内容 (2018-6-24 13:36):
PCA 链接: https://en.wikipedia.org/wiki/Principal_component_analysis
word2vec 链接: https://www.tensorflow.org/tutorials/word2vec

做完了Feature Crosses (70min), 用了不到一小时，一看才11点就看了半截Regularization (40min)。
Feature Crosses 简单无趣，还是feature engineering的东西，来来回回还是用linear regression fit 加州房价那个数据集。围绕bucketize做几个bin converge快，cross item哪种好反复试验。这种事情要靠经验，小数据集小案例还是没有啥用。

但后来20分钟看的这半截Regularization收获很丰富。上学时候ML的阿三老师讲的太抽象了，Loss公式死记硬背过，一看到就有肌肉记忆，但真心没懂L2 regularization的原理和动机。今天听了狗家深入浅出的讲解，总算把夹生饭又炒了炒吃了，懂了多少不敢说，毕竟都没有过paper，但至少加深了印象。

好了洗洗睡了，今天有收获了，有收获就有动力，貌似这次坚持下去有希望了。

今天看完了 Training Neural Network (45min) 内容不算很多，泛泛而谈了反向传播，ReLu可能会死，Gradient可能会消失或者爆掉，dropout regularization。coding练习泛泛而谈了两个新的optimization方法，adagrad和adam，以及几个normalization方法，lognorm，zscore etc.

有个不错的链接讲Backward Propagation https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/
我点开也是中文，没发现怎么改成英文，也不算特别困扰了。
明后两天还有一节NN一节Embedding就结束正课了，一点engineering的介绍以后，就是实操项目了，本帖关张大吉指日可待了。

今天的任务很简单，已经完成了✅

今天做了以下topic：
First Steps with TF (60mins)
然而花了近2个小时，不熟悉TF建模，稍微看了看扩展doc是主要原因。
看到这节课发现，audience的pandas numpy得至少是working水平，也得有个初级developer水平，不然主线课程看不下去。
不过课程真的不错，所有数学概念都有链接，一路点下去总能得到很全面很详细的解释，甚至有直接连到某校cs课程讲义里面的，只要有时间，一定能把你教懂的那种。

补充内容 (2018-6-5 12:36):
课程包括一个glossary, 概念相关的链接一般先是link到这里，这里还会有链接扩展到doc本身或者一些知名高校公开课程的讲义里面。

今天完成了以下：
Generalizations (15 min)
Training and Test Sets (25 min)
Validation (40 min)
这三节的内容平平，主要还在set mindset。
大概花了我2个小时完成。调节参数等结果还蛮费时间的，调参真是体力活，能做的不像体力活的得数学很好，或者有大量（无限）计算资源。

做完了Representation (65min)
这一步很无聊，就是data cleaning。但是花了2个多小时，原因是get_dummies()在colab环境下表现很奇怪，不认识dtypes这个参数。为了把0-1转成linear regression可以接受的float数值，费了老大劲，烦躁。。。。data cleaning需要很多很多的耐心的，还是像参考答案一样，手写一个binning function得了。

（日常）佛系刷课，佛系坚持，佛系求鼓励，佛系求加米

累了。好想偷懒一天啊。

还是挣扎看完了后半截半截Regularization (40min) 和 Logistic regression (20min) 简单 不解释 跳到后面看了下L1 loss。没有code练习，45分钟。

LZ加油啊