一亩三分地论坛

 找回密码
 获取更多干货,去instant注册!

扫码关注一亩三分地公众号
查看: 1766|回复: 14
收起左侧

[研究方向] 地里有没有会lasso算法的大神? 求介绍学习资源

[复制链接] |试试Instant~ |关注本帖
这只兔子很rock 发表于 2015-3-23 23:50:13 | 显示全部楼层 |阅读模式

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?获取更多干货,去instant注册!

x
感觉网上讲lasso算法的东西好少啊 看了一些公开课 都没有涉及到lasso
毕业设计老师给了一篇文章看 但是感觉光看这一篇远远不够 如果有什么公开课里的哪一节专门讲到能系统学习一下就好了
正在看JHU和大S的R语言和machine learning的课程 但都没有发现相关的内容
谢谢各位啦
南方的狼 发表于 2015-3-23 23:55:56 | 显示全部楼层
https://class.coursera.org/images-003/lecture.鐣欏璁哄潧-涓浜-涓夊垎鍦
这门课有一章讲sparse model...跟这个算是有点关系吧
不过是l0范数的
回复 支持 反对

使用道具 举报

danny2345 发表于 2015-3-23 23:57:38 | 显示全部楼层
prof tibshirani的那篇文章先看一看,有个大致了解。
之后lasso有很多的extension,针对不同的研究方向,都有不少的文章。
对于某些研究方向,r/matlab等都有针对lasso的package,可以直接调来用。
回复 支持 反对

使用道具 举报

 楼主| 这只兔子很rock 发表于 2015-3-24 08:56:39 | 显示全部楼层
danny2345 发表于 2015-3-23 23:57
prof tibshirani的那篇文章先看一看,有个大致了解。
之后lasso有很多的extension,针对不同的研究方向, ...

我看的就是这篇文章 现在看了一半
因为我之前没有学过machine learning 里面好多推导和讲3维的部分都不是很理解
之后要用lasso做回归模型的话 有没有相关的文章或者R的tutorials呢
回复 支持 反对

使用道具 举报

jzhu1 发表于 2015-3-24 09:22:15 | 显示全部楼层
我的理解是Lasso就和ridge regression一样就是限制了loading的norm,ridge regression是sum of square, 所以是个圆形(或者多维下的圆),所以最后只是减小了每个Loading的大小,Lasso是算的绝对值的和,所以是个正方形(多维下),如果这样限制的话最后的optimal solution会在正方形(立方体...)的角上,所以很多loading会是0,所以做到了model selection。
回复 支持 反对

使用道具 举报

 楼主| 这只兔子很rock 发表于 2015-3-24 09:57:36 | 显示全部楼层
jzhu1 发表于 2015-3-24 09:22. From 1point 3acres bbs
我的理解是Lasso就和ridge regression一样就是限制了loading的norm,ridge regression是sum of square, 所 ...

那椭圆的轮廓是什么意思?
我表示文章里的好多公式看不懂...
每个字都认识就是不知道他们在说啥
回复 支持 反对

使用道具 举报

jzhu1 发表于 2015-3-24 10:00:22 | 显示全部楼层
这只兔子很rock 发表于 2015-3-24 09:57.1point3acres缃
那椭圆的轮廓是什么意思?
我表示文章里的好多公式看不懂...
每个字都认识就是不知道他们在说啥

我猜是在这个curve上那个likelihood或者是residual sum of square是常数吧
回复 支持 反对

使用道具 举报

 楼主| 这只兔子很rock 发表于 2015-3-24 10:06:28 | 显示全部楼层
jzhu1 发表于 2015-3-24 10:00
我猜是在这个curve上那个likelihood或者是residual sum of square是常数吧

那这个椭圆和lasso的正方形的角还有ridge regression的圆相邻 说明了什么啊 有什么意义
回复 支持 反对

使用道具 举报

kying 发表于 2015-5-14 15:21:48 | 显示全部楼层
这只兔子很rock 发表于 2015-3-24 10:06
那这个椭圆和lasso的正方形的角还有ridge regression的圆相邻 说明了什么啊 有什么意义

椭圆是函数的等高线,正方形对应的是受限条件,即绝对值的几何表达,当二者相交时,表示原函数在受限条件下取得最优值。
回复 支持 反对

使用道具 举报

wwtpcsuper 发表于 2015-5-14 17:00:33 | 显示全部楼层
学习了。。第一次知道lasso原来是算法。。
. more info on 1point3acres.com
以为就是个l1 penalty的model...
回复 支持 反对

使用道具 举报

 楼主| 这只兔子很rock 发表于 2015-5-14 18:21:46 | 显示全部楼层
wwtpcsuper 发表于 2015-5-14 17:00
学习了。。第一次知道lasso原来是算法。。

以为就是个l1 penalty的model...

见笑了...我比较无知. 涓浜-涓夊垎-鍦帮紝鐙鍙戝竷
我现在觉得就是在ols加上了一个限制条件 我也不知道它是不是算一种算法或是一种模型. 鐣欏鐢宠璁哄潧-涓浜╀笁鍒嗗湴
哪里说错了的话就当给大神们乐一乐~
回复 支持 反对

使用道具 举报

 楼主| 这只兔子很rock 发表于 2015-5-14 18:28:33 | 显示全部楼层
kying 发表于 2015-5-14 15:21
椭圆是函数的等高线,正方形对应的是受限条件,即绝对值的几何表达,当二者相交时,表示原函数在受限条件 ...

看到了有一个lasso的代码 用到了coordinate descent和软阈值. 涓浜-涓夊垎-鍦帮紝鐙鍙戝竷
R的glmnet package也是用的一样的算法吗
回复 支持 反对

使用道具 举报

wwtpcsuper 发表于 2015-5-14 18:40:10 | 显示全部楼层
这只兔子很rock 发表于 2015-5-14 05:21
见笑了...我比较无知
我现在觉得就是在ols加上了一个限制条件 我也不知道它是不是算一种算法或是一种模 ...

http://statweb.stanford.edu/~owe ... yregularization.pdf
回复 支持 反对

使用道具 举报

 楼主| 这只兔子很rock 发表于 2015-5-14 22:28:51 | 显示全部楼层
wwtpcsuper 发表于 2015-5-14 18:40
http://statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf

ridge regression的regularization可以看作是另一个least square
那如果是l1 penalty, 这一项要怎么求导呢 是不是要用到软阈值
有一点我不太明白 正常的OLS是这样->(t(X)%*%X)^(-1)%*%(t(X)%*%y),
为什么用到软阈值分子就变成这样了呢->(t(X)%*%X)^(-1)%*%softThresholding(t(y-yhat)%*%X,n*lambda)
具体不太懂为什么是t(y-yhat)%*%X
回复 支持 反对

使用道具 举报

冲锋枪骑兵 发表于 2015-5-18 18:47:47 | 显示全部楼层
回归的本质是最优化问题,在高维的情况下,推倒过程涉及到vector和matrix的微积分,我估计楼主看不懂的公式应该是跟这个有关吧?可以参考matrix cookbook这本书,了解一下相关内容,这样子对于理解数学的推导过程有帮助。
回复 支持 反对

使用道具 举报

本版积分规则

请点这里访问我们的新网站:一亩三分地Instant.

Instant搜索更强大,不扣积分,内容组织的更好更整洁!目前仍在beta版本,努力完善中!反馈请点这里

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明 ( 沪ICP备11015994号 )

custom counter

GMT+8, 2016-12-4 20:27

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表