近期论坛无法登录的解决方案


一亩三分地论坛

 找回密码
 获取更多干活,快来注册

一亩三分地官方iOS手机应用下载
查看: 10436|回复: 8
收起左侧

Stanford Machine Learning Week 3: Regularization

[复制链接] |试试Instant~ |关注本帖
stanslug 发表于 2016-3-28 08:34:34 | 显示全部楼层 |阅读模式

[Coursera]Machine Learning #3 - 2016-03-07@Stanford

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?获取更多干活,快来注册

x

我正在上stanford Machine Learning这门课,第三周的编程作业刚刚交过了,但是关于Regularization的这两道题试了两次都没过,我也重新看了视频,觉得没有过多说这两道题里面的内容,有明白的童鞋能否帮忙讲解一下,非常感谢帮忙。


=====================================================

这一道我选的是:BC

You are training a classification model with logistic regression. Which of the following statements are true? Check all that apply.


A:Adding many new features to the model helps prevent overfitting on the training set.


B:Introducing regularization to the model always results in equal or better performance on the training set.


C:Adding a new feature to the model always results in equal or better performance on the training set.

D:Introducing regularization to the model always results in equal or better performance on examples not in the training set.


=======================================================================================

这一道我选的是:BD


Which of the following statements about regularization are true? Check all that apply.


A:Because logistic regression outputs values 0≤hθ(x)≤1, it's range of output values can only be "shrunk" slightly by regularization anyway, so regularization is generally not helpful for it.


B:Using a very large value of λ cannot hurt the performance of your hypothesis; the only reason we do not set λ to be too large is to avoid numerical problems.

C:Using too large a value of λ can cause your hypothesis to overfit the data; this can be avoided by reducing λ.

D:Consider a classification problem. Adding regularization may cause your classifier to incorrectly classify some training examples (which it had correctly classified when not using regularization, i.e. when λ=0).
















faelivrin 发表于 2016-3-28 10:21:10 | 显示全部楼层
关注一亩三分地公众号:
Warald_一亩三分地
时间久了,有点记不清了。仅供参考
第一题
CD.
正则化是为了更好的扩展适用于非训练集,防止过拟合训练集。 more features 是更好的fit 训练集。

第二题
BC都错误, 过大的lambda应该会严重影响算法吧。会很严重的欠拟合,我记得是变成一条横线。
看起来只能选D了。

评分

1

查看全部评分

回复 支持 反对

使用道具 举报

 楼主| stanslug 发表于 2016-3-28 13:08:18 | 显示全部楼层
关注一亩三分地微博:
Warald
faelivrin 发表于 2016-3-28 10:21
时间久了,有点记不清了。仅供参考
第一题
CD.

谢谢帮忙解释。

我刚刚提交了,不过还是错的。
回复 支持 反对

使用道具 举报

BabeLucia 发表于 2016-3-28 13:21:50 | 显示全部楼层
第一题只有C,第二题只有D,吧

评分

1

查看全部评分

回复 支持 反对

使用道具 举报

 楼主| stanslug 发表于 2016-3-28 23:46:44 | 显示全部楼层
BabeLucia 发表于 2016-3-28 13:21
第一题只有C,第二题只有D,吧

第二题只选D提交了以后还是提示错误。
回复 支持 反对

使用道具 举报

BabeLucia 发表于 2016-3-29 07:12:54 | 显示全部楼层
stanslug 发表于 2016-3-28 23:46
第二题只选D提交了以后还是提示错误。

我还是觉得你发出来的第二题只选D是没错的。你再提交的时候仔细看看选项,他的多选题每次重新做的时候选项的顺序和叙述都是不一样的,所以答案也不是固定的。

第二题的A肯定错的,regularization直接shrunk的是theta,对控制logistic regression overfit是有用的。
BC错,lambda不能太大是怕underfit (极端些如果lambda趋向正无穷,theta都会趋向0) lambda太小才有可能overfit

评分

1

查看全部评分

回复 支持 反对

使用道具 举报

chinarustin 发表于 2016-3-29 09:01:40 | 显示全部楼层
膜拜一记大神……
回复 支持 反对

使用道具 举报

ericleo0219 发表于 2016-3-30 12:27:19 | 显示全部楼层
看到楼主回复我的帖子了。quiz刚刚做完。这两题正好我刚做过。
第一题只有C对。B是错的,因为在介绍overfitting时给了定义如下:If we have too many features, the learned hypothesis may fit the training set very well, but fail to generalize to new examples. 而regularization是为了解决overfitting的,所以regularization不可能在TRAINING SET上比原先已经“overfit”的情况做得更好。

第二题确实只有D是对的。你再重新做一次之后提交试试?B错的原因是,lamda过大会导致theta1,theta2,……,thetan很小,最终只有一个theta0其作用,那么decision boundary会变成接近一条平行于x轴的直线。这一部分andrew在lecture有提到,你可以再看一下。

hope my answer helps.

评分

2

查看全部评分

回复 支持 反对

使用道具 举报

HuaZhe 发表于 2017-3-24 12:45:15 | 显示全部楼层
请问下这一个quiz的这一题是什么意思。感觉半天没看懂。

Suppose you ran logistic regression twice, once with λ=0, and once with λ=1. One of the times, you got

parameters θ=[74.8145.05], and the other time you got

θ=[1.370.51]. However, you forgot which value of

λ corresponds to which value of θ. Which one do you

think corresponds to λ=1?

提前谢谢
回复 支持 反对

使用道具 举报

本版积分规则

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明

custom counter

GMT+8, 2017-6-28 14:13

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表