注册一亩三分地论坛，查看更多干货！
您需要 登录 才可以下载或查看附件。没有帐号？注册账号 
x
一下是一些关于 variance-bias trade-off 的小小理解，借此抛砖引玉，希望大家批评指正或者补充。
- It seems that not every problem has a closed-form bias-variance decomposition. But the phenomena of bias-variance trade-off does exist in many learning problems.
- - Bias-Variance Trade-off 并不是谁好谁坏的问题，这只是从数据中学习pattern的一个很重要的现象。我们要理解这个现象，才能根据情况指定出好的解决方法。
- 比如，如果数据量很小，那么 simple model(high-bias low-variance) 可能就比较好。如果数据量比较大，那么 complex model(low-bias high-variance) 可能就比较好。
- 那么怎么去理解这个现象呢？
- 如何可以的话，我们去找找Bias-Variance Decomposition的公式。如果这个公式可以给我们很详细的理解，那就是极好的。
- 找不到Bias-Variance Decomposition的公式，那就用cross-validation去诊断，看看究竟是Bias 还是 Variance。
- 如果 Bias-variance trade-off 是从数据中学习pattern的一个很重要的现象。人类是从经验和互动中学习的，经验和互动也是数据，那么 Bias-variance trade-off 这个现象应该也可以被应用于人类的学习过程中。那么作为人类，如何学习好呢？ 如何通过学习和认知来让自己的生活更好呢？ Bias-variance trade-off 告诉我们，当你刚开始学习新东西的时候（数据量比较小），就不应该想太多，想太多就意味着你在用很复杂的model去学习很少的数据，这样就容易over fitting. 所以初学者钻牛角尖这种行为就是以中学习效率低下的行为。
- 孔子所说的“学而不思则罔，思而不学则殆”好像也是 Bias-variance trade-off 的一个推论。“学而不思则罔” 说的是你搞了很多data, 但是你没有用更复杂的model，结果就是你并没有学到新的东西， 因为你没有思考，没有通过思考来re-wiring你的神经元，你的神经元仍然停留在simple model, simple model has low-variance, 这就是说再来再多的数据，你的Model也不会变化太多，这就是思维固化。 “思而不学则殆” 就说的是不好好收集数据，凭空在构建更复杂的model，然后你就钻牛角尖，你就会overfitting到已经有的数据，你的generalization能力就很弱，很不给力。
- 成年人的生活一不留神就会变得很乏味，或者一不留神就变得很焦虑。让我来用 Bias-variance trade-off 来分析一下这个现象，让后给出相应的解决方案。变得乏味，就是你长时间不去接触新的东西（收集新的数据），你的神经元一直不更新，你可能一直只用一个老旧的观念(model)去与世界互动。这样就会得到两种情况，第一种情况是你的model很牛逼，这个model足够你应付生活中的所有问题，而且还过得不错。但是根据No Free Lunch Thm, 这种情况根本不可能出现。你也可以选择就留在自己的舒适区，只干自己擅长的事情，久而久之，你的生活就变得乏味起来了。第二种情况是你得到坏的reward越来越多，因为你的model跟不上环境的变化。然后如果你不更新你的model, 没有穷则思变，那么你的Model就perform bad， 你就会不高兴，久而久之，焦虑就来了。
- 多读书，读好书就是在收集高质量数据。在读书的过程中，努力理解书中所说现象，这就是 fitting on training data. 如果你发现用自己现有的认知完全无法理解 (training error is large), 你就要思考你的神经元，你的认知是不是high bias了。这时候你就要去抓住你完全不理解那一点去做更多的学习。
- 。。。
- 结论是：只要你现在面对的问题是从数据或者经验中学习patterm, 那么 Bias-variance trade-off 这个现象，以及它的推论就能帮助你更好的学习，以及更快乐的生活。
|
狗仔卡
收藏
淘帖
好苗
杂草
提升卡
置顶卡
关贴卡
开贴卡
变色卡
千斤顶
楼主
