用Fiverr修改留学文书求职简历,一亩三分地独家折扣码:FIVERR1P3A10
查看: 1861|回复: 8
收起左侧

从日常生活理解variance-bias trade-off,真的很牛逼

    |只看干货
本楼: 👍   100% (18)
 
 
0% (0)   👎
全局: 👍   100% (67)
 
 
0% (0)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
一下是一些关于 variance-bias trade-off 的小小理解,借此抛砖引玉,希望大家批评指正或者补充。

  • It seems that not every problem has a closed-form bias-variance decomposition. But the phenomena of bias-variance trade-off does exist in many learning problems.
  • - Bias-Variance Trade-off 并不是谁好谁坏的问题,这只是从数据中学习pattern的一个很重要的现象。我们要理解这个现象,才能根据情况指定出好的解决方法。
    - 比如,如果数据量很小,那么 simple model(high-bias low-variance) 可能就比较好。如果数据量比较大,那么 complex model(low-bias high-variance) 可能就比较好。
    - 那么怎么去理解这个现象呢?
        - 如何可以的话,我们去找找Bias-Variance Decomposition的公式。如果这个公式可以给我们很详细的理解,那就是极好的。
        - 找不到Bias-Variance Decomposition的公式,那就用cross-validation去诊断,看看究竟是Bias 还是 Variance。

  • 如果 Bias-variance trade-off 是从数据中学习pattern的一个很重要的现象。人类是从经验和互动中学习的,经验和互动也是数据,那么  Bias-variance trade-off 这个现象应该也可以被应用于人类的学习过程中。那么作为人类,如何学习好呢? 如何通过学习和认知来让自己的生活更好呢? Bias-variance trade-off 告诉我们,当你刚开始学习新东西的时候(数据量比较小),就不应该想太多,想太多就意味着你在用很复杂的model去学习很少的数据,这样就容易over fitting. 所以初学者钻牛角尖这种行为就是以中学习效率低下的行为。
  • 孔子所说的“学而不思则罔,思而不学则殆”好像也是 Bias-variance trade-off 的一个推论。“学而不思则罔” 说的是你搞了很多data, 但是你没有用更复杂的model,结果就是你并没有学到新的东西, 因为你没有思考,没有通过思考来re-wiring你的神经元,你的神经元仍然停留在simple model, simple model has low-variance, 这就是说再来再多的数据,你的Model也不会变化太多,这就是思维固化。 “思而不学则殆” 就说的是不好好收集数据,凭空在构建更复杂的model,然后你就钻牛角尖,你就会overfitting到已经有的数据,你的generalization能力就很弱,很不给力。
  • 成年人的生活一不留神就会变得很乏味,或者一不留神就变得很焦虑。让我来用 Bias-variance trade-off 来分析一下这个现象,让后给出相应的解决方案。变得乏味,就是你长时间不去接触新的东西(收集新的数据),你的神经元一直不更新,你可能一直只用一个老旧的观念(model)去与世界互动。这样就会得到两种情况,第一种情况是你的model很牛逼,这个model足够你应付生活中的所有问题,而且还过得不错。但是根据No Free Lunch Thm, 这种情况根本不可能出现。你也可以选择就留在自己的舒适区,只干自己擅长的事情,久而久之,你的生活就变得乏味起来了。第二种情况是你得到坏的reward越来越多,因为你的model跟不上环境的变化。然后如果你不更新你的model, 没有穷则思变,那么你的Model就perform bad, 你就会不高兴,久而久之,焦虑就来了。
  • 多读书,读好书就是在收集高质量数据。在读书的过程中,努力理解书中所说现象,这就是 fitting on training data. 如果你发现用自己现有的认知完全无法理解 (training error is large), 你就要思考你的神经元,你的认知是不是high bias了。这时候你就要去抓住你完全不理解那一点去做更多的学习。
  • 。。。
  • 结论是:只要你现在面对的问题是从数据或者经验中学习patterm, 那么 Bias-variance trade-off 这个现象,以及它的推论就能帮助你更好的学习,以及更快乐的生活。

评分

参与人数 11大米 +11 收起 理由
Fgnb_mmm + 1 赞一个
jadeite + 1 赞一个
wandersun + 1 给你点个赞!
Lilianz + 1 赞一个
autsin + 1 赞一个
yummyhome + 1 赞一个
只有小腿高的柯南 + 1 赞一个
jackzhou + 1 给你点个赞!

查看全部评分


上一篇:哪些模型需要calibration,为什么?
下一篇:关于MLE面试的困惑
阵雨 2022-7-26 04:31:38 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   94% (2120)
 
 
5% (129)    👎
很有意思的结论啊
回复

使用道具 举报

 楼主| sanhuoshan 2022-7-26 07:33:10 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (67)
 
 
0% (0)    👎
阵雨 发表于 2022-7-25 16:31
很有意思的结论啊

哈哈,谢谢啦,就是胡乱联想
回复

使用道具 举报

momtoomax 2022-7-28 02:52:22 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   97% (69)
 
 
2% (2)    👎
R.A. Fisher 要被你气得从坟墓里跳出来。
回复

使用道具 举报

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   0% (0)
 
 
0% (0)    👎
有意思哈哈
回复

使用道具 举报

autsin 2022-7-28 20:23:54 来自APP | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (106)
 
 
3% (4)    👎
很enlightening的见解,能否解释一下许知远的带着偏见(bias)看世界
回复

使用道具 举报

luori 2022-7-30 06:57:13 来自APP | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (5)
 
 
0% (0)    👎
太牛了!!
回复

使用道具 举报

 楼主| sanhuoshan 2022-8-10 01:16:15 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (67)
 
 
0% (0)    👎
autsin 发表于 2022-7-28 08:23
很enlightening的见解,能否解释一下许知远的带着偏见(bias)看世界

你是说这句话?
“看世界,带着偏见。每个人都是带着成见来看待世界的,如果你不带着成见,那你对世界根本就没有看待方式。”
回复

使用道具 举报

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (4)
 
 
0% (0)    👎
好有意思的分析 而且还蕴含哲理 谢谢分享
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表