📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
12
返回列表 发新帖
跳转到指定楼层
上一主题 下一主题
收起左侧

[研究方向] 地里有没有会lasso算法的大神? 求介绍学习资源

🔗
 楼主| 这只兔子很rock 2015-5-14 18:21:46 | 只看该作者
全局:
wwtpcsuper 发表于 2015-5-14 17:00-baidu 1point3acres
学习了。。第一次知道lasso原来是算法。。

以为就是个l1 penalty的model...

见笑了...我比较无知. .и
我现在觉得就是在ols加上了一个限制条件 我也不知道它是不是算一种算法或是一种模型
哪里说错了的话就当给大神们乐一乐~
回复

使用道具 举报

🔗
 楼主| 这只兔子很rock 2015-5-14 18:28:33 | 只看该作者
全局:
kying 发表于 2015-5-14 15:21
椭圆是函数的等高线,正方形对应的是受限条件,即绝对值的几何表达,当二者相交时,表示原函数在受限条件 ...
. .и
看到了有一个lasso的代码 用到了coordinate descent和软阈值
R的glmnet package也是用的一样的算法吗
回复

使用道具 举报

🔗
wwtpcsuper 2015-5-14 18:40:10 | 只看该作者
全局:
这只兔子很rock 发表于 2015-5-14 05:21
见笑了...我比较无知
我现在觉得就是在ols加上了一个限制条件 我也不知道它是不是算一种算法或是一种模 ...

http://statweb.stanford.edu/~owe ... yregularization.pdf
回复

使用道具 举报

🔗
 楼主| 这只兔子很rock 2015-5-14 22:28:51 | 只看该作者
全局:
wwtpcsuper 发表于 2015-5-14 18:40
http://statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf

ridge regression的regularization可以看作是另一个least square
那如果是l1 penalty, 这一项要怎么求导呢 是不是要用到软阈值
有一点我不太明白 正常的OLS是这样->(t(X)%*%X)^(-1)%*%(t(X)%*%y), ..
为什么用到软阈值分子就变成这样了呢->(t(X)%*%X)^(-1)%*%softThresholding(t(y-yhat)%*%X,n*lambda)
具体不太懂为什么是t(y-yhat)%*%X
回复

使用道具 举报

全局:
回归的本质是最优化问题,在高维的情况下,推倒过程涉及到vector和matrix的微积分,我估计楼主看不懂的公式应该是跟这个有关吧?可以参考matrix cookbook这本书,了解一下相关内容,这样子对于理解数学的推导过程有帮助。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表