📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 5732| 回复: 14
跳转到指定楼层
上一主题 下一主题
收起左侧

[研究方向] 地里有没有会lasso算法的大神? 求介绍学习资源

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
感觉网上讲lasso算法的东西好少啊 看了一些公开课 都没有涉及到lasso
毕业设计老师给了一篇文章看 但是感觉光看这一篇远远不够 如果有什么公开课里的哪一节专门讲到能系统学习一下就好了
正在看JHU和大S的R语言和machine learning的课程 但都没有发现相关的内容
谢谢各位啦

上一篇:关于一个匹配系统算法的问题
下一篇:航空本科成功转CS PhD
推荐
 楼主| 这只兔子很rock 2015-5-14 22:28:51 | 只看该作者
全局:
wwtpcsuper 发表于 2015-5-14 18:40
http://statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf

ridge regression的regularization可以看作是另一个least square-baidu 1point3acres
那如果是l1 penalty, 这一项要怎么求导呢 是不是要用到软阈值
有一点我不太明白 正常的OLS是这样->(t(X)%*%X)^(-1)%*%(t(X)%*%y),
为什么用到软阈值分子就变成这样了呢->(t(X)%*%X)^(-1)%*%softThresholding(t(y-yhat)%*%X,n*lambda)
具体不太懂为什么是t(y-yhat)%*%X
回复

使用道具 举报

推荐
jzhu1 2015-3-24 09:22:15 | 只看该作者
全局:
我的理解是Lasso就和ridge regression一样就是限制了loading的norm,ridge regression是sum of square, 所以是个圆形(或者多维下的圆),所以最后只是减小了每个Loading的大小,Lasso是算的绝对值的和,所以是个正方形(多维下),如果这样限制的话最后的optimal solution会在正方形(立方体...)的角上,所以很多loading会是0,所以做到了model selection。
回复

使用道具 举报

推荐
 楼主| 这只兔子很rock 2015-3-24 08:56:39 | 只看该作者
全局:
danny2345 发表于 2015-3-23 23:57
prof tibshirani的那篇文章先看一看,有个大致了解。. ----
之后lasso有很多的extension,针对不同的研究方向, ...

我看的就是这篇文章 现在看了一半 ..
因为我之前没有学过machine learning 里面好多推导和讲3维的部分都不是很理解
之后要用lasso做回归模型的话 有没有相关的文章或者R的tutorials呢
回复

使用道具 举报

🔗
南方的狼 2015-3-23 23:55:56 | 只看该作者
全局:
https://class.coursera.org/images-003/lecture
这门课有一章讲sparse model...跟这个算是有点关系吧
不过是l0范数的
回复

使用道具 举报

🔗
danny2345 2015-3-23 23:57:38 | 只看该作者
全局:
prof tibshirani的那篇文章先看一看,有个大致了解。. 1point 3acres
之后lasso有很多的extension,针对不同的研究方向,都有不少的文章。.google  и
对于某些研究方向,r/matlab等都有针对lasso的package,可以直接调来用。
回复

使用道具 举报

🔗
 楼主| 这只兔子很rock 2015-3-24 09:57:36 | 只看该作者
全局:
jzhu1 发表于 2015-3-24 09:22
我的理解是Lasso就和ridge regression一样就是限制了loading的norm,ridge regression是sum of square, 所 ...

那椭圆的轮廓是什么意思?
我表示文章里的好多公式看不懂...
每个字都认识就是不知道他们在说啥
回复

使用道具 举报

🔗
jzhu1 2015-3-24 10:00:22 | 只看该作者
全局:
这只兔子很rock 发表于 2015-3-24 09:57. 1point3acres
那椭圆的轮廓是什么意思?
我表示文章里的好多公式看不懂...
每个字都认识就是不知道他们在说啥

我猜是在这个curve上那个likelihood或者是residual sum of square是常数吧
回复

使用道具 举报

🔗
 楼主| 这只兔子很rock 2015-3-24 10:06:28 | 只看该作者
全局:
jzhu1 发表于 2015-3-24 10:00
我猜是在这个curve上那个likelihood或者是residual sum of square是常数吧

那这个椭圆和lasso的正方形的角还有ridge regression的圆相邻 说明了什么啊 有什么意义
回复

使用道具 举报

🔗
kying 2015-5-14 15:21:48 | 只看该作者
全局:
这只兔子很rock 发表于 2015-3-24 10:06
那这个椭圆和lasso的正方形的角还有ridge regression的圆相邻 说明了什么啊 有什么意义
. Waral dи,
椭圆是函数的等高线,正方形对应的是受限条件,即绝对值的几何表达,当二者相交时,表示原函数在受限条件下取得最优值。
回复

使用道具 举报

🔗
wwtpcsuper 2015-5-14 17:00:33 | 只看该作者
全局:
学习了。。第一次知道lasso原来是算法。。. 1point 3acres

以为就是个l1 penalty的model...
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表