一亩三分地

 找回密码 注册账号

扫描二维码登录本站

微信公众号
扫码关注公众号
留学申请公众号
扫码关注留学申请公众号
查看: 3362|回复: 38
收起左侧

复习+刷题

[复制链接] |只看干货 |打卡组队, 打卡
我的人缘0

升级   0.2%


分享帖子到朋友圈
阿钟 | 显示全部楼层 |阅读模式
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   98% (1432)
 
 
1% (22)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?注册账号

x
交了些简历,每天总结一下今天做了什么,不然时间嗖的一下就没了
年前刷够500 leetcode 现在480+,从今天起尽量只看hard
计划 温习一下传统ML(cs 229)敲一下机器学习实战里面的代码
统计用penn state在线和绿皮书
看完berkeley今年的cs285(deep RL)
brush up on deep learning https://github.com/afshinea/stanford-cs-230-deep-learning
另外一直有youtube premium 下载视频到本地 循环播放 被动学习……

哈哈东西好多 扑街了



补充内容 (2019-12-22 13:27):
目标是地里ML第一高楼 有帮助的求大米

补充内容 (2019-12-26 04:29):
有要加入的直接私我 共享信息

上一篇:2020.01.31前,LeetCode top 150, 完不成吃翔
下一篇:DA/DS/BA 找工打卡 让我们一起加油!!! 附整理资料
我的人缘0

升级   1.23%

sevenwonder 2019-12-20 07:33:24 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (45)
 
 
0% (0)    👎
楼主可以组队么?
回复

使用道具 举报

我的人缘0

升级   0.2%

 楼主| 阿钟 2019-12-20 09:59:35 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (1432)
 
 
1% (22)    👎
2019/12/19

过了一遍CS 229 Lecture 2-4,正好讲完了generalized linear model。
这一套理论真是十分优美。 LR,OLS,softmax都是GLM的一种。

OLS is unbiased but with low variance comparing to non-linear model.
Lasso/Ridge biased with lower variance.

补充内容 (2019-12-23 04:01):
李航是用最大熵来讲这个的 很有意思 有时间可以看一下
回复

使用道具 举报

我的人缘0

升级   0.2%

 楼主| 阿钟 2019-12-20 10:01:01 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (1432)
 
 
1% (22)    👎

请问您的目标?以及想怎么组队?
回复

使用道具 举报

我的人缘0

升级   1.23%

sevenwonder 2019-12-21 05:52:34 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (45)
 
 
0% (0)    👎
阿钟 发表于 2019-12-20 10:01
请问您的目标?以及想怎么组队?

我是想面ML engineer, 想多练习下基础以及ML design 这方面的,当然还有刷题啦,觉得楼主很厉害啦,想抱大腿,鞭策自己好好学啊
回复

使用道具 举报

我的人缘0

升级   0.2%

 楼主| 阿钟 2019-12-21 07:25:48 来自一亩三分地官方APP | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (1432)
 
 
1% (22)    👎
sevenwonder 发表于 2019/12/21 05:52:34
我是想面ML engineer, 想多练习下基础以及ML design 这方面的,当然还有刷题啦,觉得楼主很厉害啦,想抱...
好啊 我也想面这方面的但是我可能进度比较自由 厉害倒没有 真厉害就不打卡了😂
回复

使用道具 举报

我的人缘0

升级   0.2%

 楼主| 阿钟 2019-12-21 10:00:26 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (1432)
 
 
1% (22)    👎

2019/12/19

CS229 lecture 4-5和配套material

纯靠回忆的总结:
Generative vs Discriminative algorithm
Generative: estimates p(x|y) 再利用bayes theorem计算 p(y|x),
Discriminative: 直接extimate p(y|x) / output lable in {0,1}

Generative Algorithm two examples:
(1)
Gaussian discriminative Analysis: If plot p(y=1|x), the result is also a sigmoid function. but will be different from the one found by doing LR.
Gaussian discriminative Analysis assumes p(x|y=1) p(x|y=0) are Gaussian, in fact every ExpFamily WILL result in a sigmoid function curve. Therefore this needs a stronger assumption than LR => shows the robustness of LR.

(2) Naive Bayes.
-naive assumption: P(x1,...,xn|y) = P(x1|y) *...* P(xn|y), independent of features given y.
-why not LR, too many paramters 2^n-1, whereas NB needs n.
-Laplacian smoothing, add 1 to numerator, k(#classes) to denominator, to prevent 'never seen, never will happen' prediction.

Generalization to Naive Bayes,
multi class(discretization into buckets) , multinomial event model: taking # of appearance of words in dictionary into account, instead of binary vector which was used in NB.

---
Non-linear model: NN is an exmaple of non-linear model. What makes it non-linear? Non linear layers.

--

Setup of SVM, geometric margin, functional margin.

回复

使用道具 举报

我的人缘0

升级   0.2%

 楼主| 阿钟 2019-12-22 12:59:30 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (1432)
 
 
1% (22)    👎
本帖最后由 阿钟 于 2019-12-22 13:00 编辑

12/21/2019

今天先是看了cs229 lecture 6-7
然后我觉得andrew讲得太慢没有耐心听,就看了一下notes,结果notes也觉得不是很畅快,就又看了一下李航蓝皮书。
229 的lecture在08版没有提到SVM和hinge loss学习的关系: linear support vector machine is equivalent to minimizing L2 regularized Hinge loss.

Notes also include Kernel trick:
idea: what if function is non-linear? Map x to feature vector. might be huge. Kernel trick allows updating in O(n) by not storing theta but pre-compute the kernel value.

我感觉不要纠结于手撸svm的detail 二刷ML复习的时候再说。或者要onsite了再说……
回复

使用道具 举报

我的人缘0

升级   0.2%

 楼主| 阿钟 2019-12-23 05:16:35 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (1432)
 
 
1% (22)    👎
本帖最后由 阿钟 于 2019-12-23 05:18 编辑

12/22/2019  
哈哈哈前面所有lecture 序号都错了 昨天是7-8. 今天是9-10.

今天
主要是learning theory
Andrew很神奇他讲了pac learning却不提这个叫pac learning
然后推了一下bias-variance tradeoff,增加H的复杂度会提升best possible hypothesis,但随之而来的,training example导致variance变高
然后inifinite hypothesis class,为什么SVM不会overfit
SVM和LR都是convex optimization approximation to ERM of classification problem(non convex),一个是logistic loss一个是hinge loss

From a list of model:
Cross Validation, K-fold CV, leave-one-out. -> efficient use of data, but more expensive in training.

Choose feature:
forward/backward selection
or compute MI choose best k features, (KL div between P(X_i, Y) and P(X_i)P(Y), i.e. how independent)?
(参考决策树)

……甚至觉得圣诞节过完我就可以把非RL的部分粗略过完了。
回复

使用道具 举报

我的人缘0

升级   0.2%

 楼主| 阿钟 2019-12-24 13:06:47 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (1432)
 
 
1% (22)    👎
12/23 今天比较累
lecture 11

谜之讲了bayesian LR
一些实战advice
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

隐私提醒:
■拉群请前往同学同事飞友|拉群结伴版块,其他版块拉群,帖子会被自动删除
■论坛不能删帖,为防止被骚扰甚至人肉,不要公开留微信等联系方式,请以论坛私信方式发送。
■特定版块可以超级匿名:https://tools.1point3acres.com/thread
■其他版块匿名方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|||一亩三分地

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

Some icons made by Freepik from flaticon.com

快速回复 返回顶部 返回列表