为什么2016选举前的Poll预测会失败？Poll还可信吗？

最近一段时间看到地里很多人在围绕选举进行各种讨论，一开始只想当一名吃瓜群众，因为跟多高人的分析在我看来是有科学道理和证据支撑的。然而也看到一些人虽然接受了高等教育，但是发言却很让人无语。作为一名研究政府政策和民意调查方法的**，感觉有必要以我浅薄的水平把我所知道的相关研究和事实与大家分享一下。我的原则是，不要人身攻击，不要污言秽语，不要主观硬杠，请用事实说话，用证据支持你的观点。

我先来讲讲为什么2016年pre-election poll failed.

首先，public opinion poll是一门科学，有些同学上来就说左派媒体的poll能看么？其实大多做eletion poll的是独立或者中立机构，他们有着顶尖的统计学家，根据以往poll建立并调整统计模型，他们的目的是为了准确地预测大选。不论谁当选。如果像一些同学所说，他们就是故意提前预测民主党当选来影响选票，其实历史上他们也有准确地预测共和党的候选人当选的或者没能准确地预测民主党候选人当选，而且预测错误本身是对他们信誉的打击，并没有任何好处，很多电视台都是购买他们的数据而已。

接下来说说正题，为什么2016年选举前预测失败了。美国的American Association for Public Opinion Research (AAPOR) 是美国最大最主要的民意研究协会，每年的会议都有很多的大学学者（政治学，媒体研究， 统计学等）和民意研究机构的专家参加。2016年选举之后，针对公众对poll的质疑以及对自己的反思，他们成立了一个委员会，汇集各路专家进行深入思考。

结果是一份研究报告：An Evaluation of The 2016 Election Polls in the United States, 作者是民意调查机构和大学研究公众意见的十几位专家。结论简单地说就是，在铁锈带Upper Midwest, poll低估了对Trump的支持率，原因如下：

1. 被调查者中受过高等教育的人(支持Clinton)超过了实际人口的比例。但是研究发现，受教育越多的人越有可能支持Clinton这一现象可以说是2016年特有的。在之前的2012年选举中，受教育程度很低的和受教育程度很高的人更有可能支持Obama, 而且大学本科学历的人则几乎平均的支持Obama and Romney. 所以按照之前选举做的weights for education在2016年失效了。

2. 2016年的选民结构发生了改变。非裔美国人和年轻人投票率低，真正投票的人则更有可能支持Trump.

3. 有些人临近选择改变了想法。有些人在九月或者十月时对民意调查员说自己还没有决定或者要投给第三方党派，在最后一周却纷纷改变主意，投了Trump.

4. 但是很多人可能想问，是不是这些人觉得支持Trump不想让别人知道，所以故意撒谎呢 （shy Trump reporting), 研究结果可能出乎大家意料，并没有明显的证据表明Trump 支持者们大范围的隐瞒自己真实的投票想法。所以可以说，确实很多人是最后时刻才决定投了Trump,从而造成预测结果的偏差。

5. 最后一点就是，poll是一种统计，必然存在误差，从没有100%准确的说法，但是研究人员不断的在改进预测模型，来提高预测准确的可能性。

欢迎大家积极讨论！

Camelchoi 发表于 2020-10-13 05:10
其实我一直有疑虑。虽说是2020年的poll有了2016年失败的经验，但是2016年的poll也有以前失败的经验呀，怎样 ...

当年川粉还勉强可以说自己是沉默的大多数，现在吼得最大声的就是他们吧，都快把物管招来了

总之不要根据poll来决定自己做什么，
比如说，不管你觉得未来形势好与坏，都要努力刷题。

不要觉得Biden可能赢，以后日子就好过了，从而就不刷题了。
这是把自己的命运放到别人手上，自己的命运要握在自己手里。
如果就因为信了cnn的poll， 这次不输，以后肯定也大大滴有输的时候。

之前我也发过一些帖子讨论类似的问题，底下骂街怼人的大部分是老川的铁粉，感觉就像两条平行线没法和他们交流

其实我一直有疑虑。虽说是2020年的poll有了2016年失败的经验，但是2016年的poll也有以前失败的经验呀，怎样才能说明错误不会重犯呢？现在各种poll对拜登的优势表露，不免让人回忆起16年。
关于第四点：“但是很多人可能想问，是不是这些人觉得支持Trump不想让别人知道，所以故意撒谎呢 （shy Trump reporting), 研究结果可能出乎大家意料，并没有明显的证据表明Trump 支持者们大范围的隐瞒自己真实的投票想法。所以可以说，确实很多人是最后时刻才决定投了Trump,从而造成预测结果的偏差。”
这里说的没有证据表明怎么理解呢？假设存在川粉在poll中确实有隐藏自己真实想法的表现，那么之后再问当时有没有隐藏，他们同样可以继续隐藏，那当然也是没有证据了。是否今年也会有很多这样的投票者呢？

预测不都是有置信区间吗，2016年本身差距也没拉开，谁当选都在误差范围之内吧，而今年的差距已经拉的很开了。

声明： 本人并不是在预测说那一方会赢，只是在根据自己的经验分析一下

public opinion poll是一门科学，有些同学上来就说左派媒体的poll能看么？其实大多做eletion poll的是独立或者中立机构，他们有着顶尖的统计学家，根据以往poll建立并调整统计模型，他们的目的是为了准确地预测大选。不论谁当选。如果像一些同学所说，他们就是故意提前预测民主党当选来影响选票，其实历史上他们也有准确地预测共和党的候选人当选的或者没能准确地预测民主党候选人当选，而且预测错误本身是对他们信誉的打击，并没有任何好处，很多电视台都是购买他们的数据而已

感觉这个是2016之前的情况，现在很多做poll的公司和agent都有很强的政治倾向。。。
2016整年 本人一直在听cnn，早饭 午饭都听，关注下行情； cnn号称自己都poll是 “poll of polls”，最后能到Hilary 有85%以上都概率赢； 因为这是我来美国之后遇上都第一轮大选，不了解情况，就被cnn忽悠了。
后来才发现cnn有多不靠谱。

而且2016的时候，cnn帮Hilary还远没有现在这么biased。2016的很多时候 感觉poll好像还没被拿来作为攻击武器， cnn也就是暗地里帮Hilary。
到2020，poll已经被拿来做为宣传攻击武器了， cnn也是明面上直接上了。

就拿前几天的VP辩论，cnn 的poll说Harris won （超过50%）。
但是再去看它家的细节报道，一直集中在讨论Pense头上的那只苍蝇。 这就真的是 “无话可说，只能顾左右而言他了”。
所以呢，cnn的poll不能看，其它几个跟cnn类似的最好也别太当真。

本人并不想推荐哪个poll，因为我也不确定。 就简单分析一下。
1. 当前Biden的national support rate应该比Trump高， 这个连foxnews也承认。
    foxnews是大媒体里唯一一个说Trump好话比较多的。 具体高多少个点不好说，foxnews每个主持人说的也不一样，本人大概总结一下是4% - 10%。 主要败点就是疫情。
2. 但是仍然有很多变数，Trump也有它的优势
    1）支持者热情远高Biden，每次集会都爆满；而Biden的基本上没什么人。 关于这个最有名的就是 义乌指数， 有兴趣请google “义乌指数2020”
    2）supreme court 任命； 2018年中期选举的时候，本来说要有 “huge blue wave”， 就是Dems大胜，结果就是因为Dems做的太过火了，做了很多很low的事，最后只剩“blue waters”。
         所以要看这次的大法官任命能出什么事不。
         另外，相关的hot topic就是， “pack the court”。  现在的大法官提名是“fill the vacancy”， 但是Biden一直拒绝谈他将来会不会”pack the court“， 就是从9个seats增加到11，13甚至15个seats。
         这个对中间选民应该很重要。
    3）今年多次出现的暴乱，会影响很多人最后去不去投Dems。如果未来20多天，又出大的riots，会对结果有比较大的影响。
    4）如果投票结果很接近，Trump在supreme court上有绝对的优势。尤其是如果现在的candidate能被成功任命的话（可能性很大）。

总之现在才Oct 12，所谓的October Surprises可能还有很多。
没人能说清楚最后什么情况，很多之前所谓的“定律”都可能被打破。更不要太相信各种poll，尤其是cnn的poll。
现在的poll顶多只能说明现在的情况。
很难预测20天以后的情况，就像本人提到的那些cases，还有很多其它的case，都可能support 或者 destroy a candidate

以上只是个人看到的一些情况。很多也是从小白一点点学到的，就是感觉2016被cnn大忽悠了一次，感觉很不爽，所以自己多关注了一下politics。
总之，12月初怎么没也应该有确实结论了。（拖到12月的唯一原因就是官司打到supreme court）

mycoy 发表于 2020-10-13 05:35
声明： 本人并不是在预测说那一方会赢，只是在根据自己的经验分析一下

现在的poll顶多只能说明现在的情况。

很难预测20天以后的情况，就像本人提到的那些cases，还有很多其它的case，都可能support 或者 destroy a candidate

denfunthe 发表于 2020-10-13 05:21
当年川粉还勉强可以说自己是沉默的大多数，现在吼得最大声的就是他们吧，都快把物管招来了

这份报告的意思是说，2016预测错误原因之一是摇摆州的摇摆选民确实迟迟没有做决定，但是最后一刻很多人选了Trump，所以之前他们对pollster说的没有做决定的话影响了poll预测

Lothbrok 发表于 2020-10-13 05:16
预测不都是有置信区间吗，2016年本身差距也没拉开，谁当选都在误差范围之内吧，而今年的差距已经拉的很开了 ...

你说的有一定道理的，因为2016年在几个摇摆州Clinton都是以微小差距失败，但是获胜者却可以得到全部选举人票，这就是为什么Clinton在全国范围得到的票数是多于Trump的，Trump的当选得益于美国特殊的选举人制度。