查看: 1275| 回复: 2
跳转到指定楼层
上一主题 下一主题
收起左侧

问一个关于L1 Regularization的问题

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x

L1 Regularzation cost function的regularization term是 lambda * sum( |beta_j| )这个term在 beta_j = 0 处导数是不存在的。
在计算系数过程中,beta_j通过gradient descent优化: beta_j += - step_size * d(cost_fun)/d(beta_j)  
实际操作中,如果beta_j = 0,这个梯度是怎么求的呢?



上一篇:攒人品,分享A/B test, produce sense 相关
下一篇:攒人品,放BOA的sql的onsite题目,求大米
全局:
国内超级爱问的L1不可导问题,楼主可以搜下 坐标轴下降法

评分

参与人数 2大米 +3 收起 理由
bushimajia + 2 很有用的信息!
novavistamn + 1 thanks!

查看全部评分

回复

使用道具 举报

推荐
wowmomsos 2019-7-24 00:40:04 | 只看该作者
全局:
分段导数,函数自变量区间根据当前beta值确定
跟relu一样
d(relu(z))/d(z) = { 0 (z<0), 1(z>=1)}

评分

参与人数 1大米 +1 收起 理由
novavistamn + 1 谢谢!

查看全部评分

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表