请问为什么ensemble各种模型，能提高性能呢

microsat 发表于 2022-11-30 11:32
请问你的试验结果，发现能加强性能吗？还是不能？

找找看某一届imagenet的第一名

一个很简单的例子：

假如你有n个子模型做分类问题，每个的准确率都是0.6，那最准确的单个模型的准确率就是0.6

假如你现在做一个ensemble模型是取majority vote，那你错误的概率就是超过一半的子模型都错，这个概率大约是e^0.009n (chernoff bound)

所以你正确的概率是1-e^0.009n，随着n增大你的ensemble模型会越来越好最终超过最好的子模型

补充内容 (2022-12-04 08:11 +08:00):
e^0.009n并不是准确的超过一半子模型错误的概率，而只是一个概率上界用chernoff-hoeffding inequality基于0.6这个概率算出来的。

补充内容 (2022-12-04 08:16 +08:00):
当然这里假设的是所有子模型都是互相独立的，如果数据是被partition的，那这自然是成立的。但是如果所有子模型都用相同的数据，那么这个独立性假设就不对。所以这个结论只能提供一些intuition

统计学里有一种叫做median of means的估计方法就是利用了这个结论，先把数据partition、每个各自算mean，然后取median。有时候效果会比直接算一个mean要好

relakuma 发表于 2022-12-3 18:06
一个很简单的例子：

假如你有n个子模型做分类问题，每个的准确率都是0.6，那最准确的单个模型的准确率就是 ...

请问，如果所有的模型都是基于相同的数据。也就是独立性假设不成立。

这样的话，ensemble（A,B,C） 能超过  max(A,B,C)   吗？

我记得这个是有理论的数学证明的，大家可以查一查论文

印象中 average ensemble model 的期望值 >= single model的期望值 有證明的

penolove427 发表于 2022-12-4 11:02
印象中 average ensemble model 的期望值 >= single model的期望值 有證明的

其实，大家能汇报一下自己亲自ensemble后的性能，是否提高。不就相当于证明了吗？
如果10个人，9个回复，性能不见得提高，顶多就是最高性能。
那就是最好的证明。

所以，请大家勇于将自己亲自实验的结果贴出来。

注意：我说的ensemble是所有的模型都是基于同一个数据。数据是x，模型A用的是数据x，模型B也是用数据x，模型C也是用数据x。