📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 6964| 回复: 29
跳转到指定楼层
上一主题 下一主题
收起左侧

传说big data已经渗入到政治界了,尼玛我入错行了

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
所以大家都去学data mining吧......

zz link:http://tech.sina.com.cn/i/2012-11-08/18467782012.shtml

导语:美国《时代》杂志周四撰文,揭秘数据挖掘在奥马巴竞选中起到的重要作用。奥巴马竞选阵营的数据挖掘团队为竞选活动搜集、存储和分析了大量数据,给予竞选团队的高级助手,帮助其成功“策划”多场活动,为奥巴马竞选筹集到10亿美元资金。

  今年春天晚些时候,奥巴马竞选阵营的数据挖掘团队注意到,影星乔治·克鲁尼(George Clooney)对美国西海岸40岁至49岁的女性具有非常大的吸引力。她们无疑是最有可能为了在好莱坞与克鲁尼和奥巴马共进晚餐而不惜自掏腰包的一个群体。. 1point3acres

  在过去两年内,他们为奥巴马的连任竞选活动搜集、存储和分析了大量数据,同以往处理这些数据的做法一样,奥巴马在竞选团队的高级助手决定再次听取数据挖掘团队的意见。他们希望在东海岸找到一位对这个女性群体具有相同号召力的名人,从而复制“克鲁尼效应”的成功经验。克鲁尼在自家豪宅举办的筹款宴会上,为奥巴马筹集到数百万美元的竞选资金。
.--
  奥巴马竞选团队的一位高级顾问说:“我们面临无数的选择,但最终定了莎拉·杰西卡·帕克(Sarah Jessica Parker,美国知名影星)。”于是,一个与奥巴马共进晚餐的“竞争”便诞生了,那就是争夺在杰西卡·帕克的纽约West Village豪宅美餐的机会。. From 1point 3acres bbs

  对于普通民众而言,他们根本不知道这次活动的想法源于奥巴马数字挖掘团队对帕克粉丝研究的重大发现:这些粉丝喜欢竞赛、小型宴会和名人。但从总统大选一开始,奥巴马竞选团队主管吉姆·梅斯纳(Jim Messina)便希望打造一个以数据驱动、完全不同于以前的竞选活动:政治是目标,但天分可能不再是实现政治抱负的手段。

  梅斯纳在成为竞选主管后说:“我们会在此次竞选活动中测量每一件事情。”他打造了一个规模五倍于2008年竞选时的数据分析部门,让拉伊德·加尼(Rayid Ghani)出任芝加哥竞选团队总部的“首席科学家”,此人在数据挖掘领域的经验非常丰富。

  这个由几十人组成的数据挖掘团队的具体工作被严格保密。奥巴马竞选团队发言人本拉·波尔特(Ben LaBolt)在问到数据挖掘团队的职责时说:“他们是我们的核代码。”. check 1point3acres for more.
.google  и
  在办公室里,该团队会给各个数据挖掘实验进行神秘代码命名,比如“独角鲸”、“追梦人”等。他们在远离竞选团队剩余工作人员的地方办公。这些“科学家”为身在白宫罗斯福厅的总统及其高级助手制作日常简报,而有关这个团队的更多细节是不会对外透露的,因为奥巴马竞选阵营牢牢固守着他们自认为比罗姆尼竞选阵营有优势的地方:即数据。

  11月4日,奥巴马竞选团队多位高级顾问答应以匿名形式向《时代》杂志谈一谈他们的工作。他们的确披露了一些鲜为人知的故事,例如,如何通过分析海量数据帮助奥巴马筹集到10亿美元资金,如何改变了电视广告投放策略,以及如何制作出摇摆州选民的详细模型等等。
. ----
  如何筹资10亿美元. 1point3acres.com

  在2008年的竞选中,奥巴马团队对技术的应用赢得了不少赞扬,但其成功的背后却掩盖了一个巨大的弱点:过多的数据库。当时,通过奥巴马网站打 电话的志愿者使用的名单与在竞选办公室打电话人所用的名单是不一样的,而动员投票名单也从不会与资金筹集名单重合。这就好像911之前的FBI(美国联邦 调查局)和CIA(中央情报局):这两大机构从不会共享数据。其中一位官员说:“我们很早就意识到,民主党策略的问题是数据库太多,彼此之间从不沟通。” 因此,在前18个月,竞选团队就创建了一个单一的庞大系统,可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体,以及“摇摆州”主要的 民主党投票人的信息整合在一起。

  这个整合后的巨大数据库不仅能告诉竞选团队如何发现选民并获得他们的注意,还允许数据处理团队进行一些测试,从而来预测哪些类型的人有可能被某 种特定的事情所说服。例如,在竞选办公室里的电话名单上,不仅仅列出了姓名和电话号码,还按照他们被说服的可能性和重要性对姓名进行排序。在排序的决定性 因素中,约75%是基本信息,如年龄、姓别、种族、邻居和投票记录等。一位高级顾问称:“我们可以预测哪些人会通过网络捐款,哪些人会汇款。我们还可以为 志愿者建模,建模可以对让我们的工作效率更高。”

  例如,竞选团队早期就发现,在个人注意力最容易被重新吸引回来的人群中,在2008年大选中曾退订了竞选电子邮件的那部分人是首要目标。为此, 战略家们为特定人群制订了相应的测试。例如,测试一个本地志愿者打来的电话的效果如何优于一个从非摇摆州(如加州)志愿者打来的电话。正如竞选总指挥吉 姆·梅西纳(Jim Messina)所说,在整个竞选活中,没有数字做支撑的假设很少存在。

  这个庞大的数据库还能让竞选团队筹集到比他们预期的更多的资金。截至8月份,奥巴马团队里的每个人都认为他们达不到10亿美金的筹集目标。其中一位高级官员称:“我们曾经反对过,因为连9亿美元的目标都不能接受。”但另一位官员称:“结果到了夏天,互联网效应爆发了。”

  在通过网络筹集到的资金中,很大一部分是通过电子邮件营销而来。因此,数据收集与分析至关重要。发送给支持者的邮件中很多只是测试,它们采用了 不同的主题、发送人与内容。到了春天,米歇尔·奥巴马(Michelle Obama)的电子邮件表现得最好。有时,梅西纳表现得比副总统拜登 (Joe Biden)要好。很多时候,募集资金最多的人能比欠佳者多出10倍。

  芝加哥总部还发现,签署了“快速捐献”计划的人所捐献的资金是其他捐献者的4倍。因此,该计划后来被大力推广,并进行激励。到10月底,该计划已经成为竞选团队向支持者传递信息的重要部分,首次捐献者可以得到一个免费的保险杆贴纸。

  结果的预测

  这种协助筹款的技术随后又被用于预测投票结果。奥巴马的数据分析团队建立了4条投票数据流,以了解关键州选民的详细情况。一名官员表示,过去1个月中,仅在俄亥俄州,数据分析团队就获得了约2.9万人的投票倾向数据。这是一个包含1%选民的巨大样本,使他们可以准确了解每一类人群和每一个地区选民在任何时刻的态度。这带来了巨大的优势。当第一次电视辩论结束后,选民的投票倾向发生改变。而数据分析团队可以立即知道什么样的选民改变了态度,什么样的选民仍坚持原来的投票选择。

  在10月份选情扑朔迷离的情况下,这一数据库确保了奥巴马竞选活动的稳定。通过数据,奥巴马竞选团队发现,大部分摇摆不定的俄亥俄州选民原本并非奥巴马的拥趸,而是罗姆尼的支持者。在9月份罗姆尼出现失误之后,这些选民的态度出现动摇。一名官员表示:“我们比其他人更冷静。”每天晚间,投票倾向和选民数据被反复处理,以考虑多种不同情况。另一名高级官员则表示:“我们每晚模拟6.6万次大选,并于每天上午获得结果,了解在这些州胜出的可能性,从而针对性地分配资源。”

  奥巴马竞选团队还首次利用Facebook进行大规模的投票动员,这模仿了现场组织者挨家挨户敲门的方式。在竞选活动的最后几周,下载某一款应用的用户收到了多条消息,其中包含他们在“摇摆州”好友的照片。他们被告知,可以通过点击按钮,呼吁这些目标选民采取行动,例如进行投票注册、更早地投票,以及参与到投票中。奥巴马竞选团队发现,大约1/5收到Facebook请求的选民做出了响应,这在很大程度上是因为请求来自他们熟悉的人。

  数据还帮助奥巴马竞选团队进行广告购买决策。在选择广告投放渠道时,他们没有依靠外部媒体顾问,而是基于内部数据。一名官员表示:“我们可以通过复杂的建模来找到目标选民。例如,如果迈阿密戴德郡的35岁以下女性是我们的目标,那么这里有如何覆盖她们的方式。”因此,奥巴马竞选团队在一些非传统节目中购买了广告,例如4月23日的电视剧《混乱之子》、《行尸走肉》和《23号公寓的坏女孩》。以往,竞选广告通常出现在本地新闻节目中。那么,在广告投放方面,奥巴马竞选团队2012年的表现比2008年好多少?芝加哥有这样的数据:“在电视平台上,我们的购买效率提升了14%,确保与能够被说服的选民保持交流。”

  根据数据分析,奥巴马竞选团队在大选的最后阶段也采取了不同以往的方式。今年8月,奥巴马决定在社交新闻网站Reddit上回答问题,当时多名总统高级助理并不清楚此事。一名官员表示:“我们为何将奥巴马放在Reddit上?因为我们发现很大一部分目标选民在Reddit上。”

  这种由数据驱动的决策方式在奥巴马成功连任的过程中发挥了重要作用,也将成为外界研究2012年美国大选的一个重要元素。这再次表明,依赖预感和经验的华盛顿特区竞选专家地位正在迅速下降,被善于利用大批量数据的数量分析专家和计算机程序员所取代。正如一名官员所说,“人们坐在密室抽着雪茄,简单地说‘我们总是会买《60分钟》广告”的时代已经结束。在政治界,大数据时代已经到来。(李明 清辰 维金)

上一篇:有没有适合统计学生入门的data mining (KDD)的书呢?
下一篇:明天考sub,问一下其中一题……(一个回忆题……)
推荐
joyce1322 2012-11-9 09:58:52 | 只看该作者
全局:
小K 发表于 2012-11-9 09:41 . 1point 3 acres
that's what i suspected.....还是技术问题啊。。。你现在用的到abtest不?具体怎么让数据出来呢?现在有 ...

没有,我们公司 是接到一个project 以后,根据客户具体的business question 设计出一个survey, 然后找专门的panel provider 采集数据,再用bayesian model 结合一般 hypothesis testing 算出我们想要的答案。 象google 或者twitter 这种high tech 是平时采集很多很多数据,不管有用没用,都存着。然后高层提出一个问题,analytics 组就得去那堆data 里面挖出和这个问题相关得数据,整理好以后算。 我们相对比较简单,因为我们对于会得到怎样的data有主控权,但是我们需要象experiental design 方面的问题。他们大多数时候对于data 的采集没有主动权,要得到答案要利用现有的数据。
回复

使用道具 举报

推荐
joyce1322 2012-11-9 09:33:56 | 只看该作者
全局:
duanmupeiyi 发表于 2012-11-9 07:52
是啊是啊,好多东西都想学. ----
ABTesing不晓得,555
. 1point3acres
ab testing 很弱的。我以前面试的时候被人问过,表示不懂以后人家和我解释了下,其实就是怎么用现有的资源设计出一个treatment (A) 一个control (B) 然后collect data, 再搞个stat testing。 不过工业界比较流行这个。难度是搞出有效data这一部分,计算很简单的。
回复

使用道具 举报

全局:
奥巴马很早就启动的big data计划了, 有近100个programs,并且打出的口号是“为政府解决重大困难:
. 1point3acres.com
果断用到选票中非常聪明。 这下学机器学习,数据挖掘, 统计, 云计算的人都有福啦~~
回复

使用道具 举报

🔗
modifiedname 2012-11-9 05:39:48 | 只看该作者
全局:
O8团体一直号称各种高科技的东西弄的好么,HCI课里面也有说他们UI设计用ABtest的
这个年代啊。。。。
回复

使用道具 举报

🔗
duanmupeiyi 2012-11-9 06:21:32 | 只看该作者
全局:
小K 发表于 2012-11-8 13:39 . 1point3acres.com
O8团体一直号称各种高科技的东西弄的好么,HCI课里面也有说他们UI设计用ABtest的
这个年代啊。。。。

多好啊,咱们statistians不愁没饭吃,木咔咔
. 1point3acres.com
. From 1point 3acres bbs
回复

使用道具 举报

🔗
modifiedname 2012-11-9 06:23:20 | 只看该作者
全局:
duanmupeiyi 发表于 2012-11-8 17:21
多好啊,咱们statistians不愁没饭吃,木咔咔

新时代的statistician的确很好啊,工业界老年的statistician不少我觉得知识已经陈旧了。嗯,主要是说我自己。我也想做这样有趣的数据啊。。。。啊啊啊
. 1point 3acres
需要补的东西不少
. 1point 3acres
奋斗奋斗
回复

使用道具 举报

🔗
duanmupeiyi 2012-11-9 06:26:08 | 只看该作者
全局:
小K 发表于 2012-11-8 14:23 .--
新时代的statistician的确很好啊,老年的我觉得知识已经陈旧了。我也想做这样有趣的数据啊。。。。啊啊啊 ...

同努力!
偶也有好多想学习的,尤其是CS方面的知识

这种类型的工作就要 统计 编程 两个都很精通
code得是production level,不是像现在随便写写就成(反正只跑一次 :P)
Google quantitative marketing 那个组就是各种AB test,R code也是有各种规定




. 1point3acres.com
回复

使用道具 举报

🔗
modifiedname 2012-11-9 06:38:09 | 只看该作者
全局:
duanmupeiyi 发表于 2012-11-8 17:26
同努力!
偶也有好多想学习的,尤其是CS方面的知识
. check 1point3acres for more.
求端木帮带!!!我要补的除了编程外,目前在单子上的还有time series(没有学过啊啊啊啊),data mining machine learning的没有系统学,都是后来自己补的,不知道还有没有空补充。ABTesting比普通统计里面学的实验设计有什么不同呢?或者说缺的部分是实现上的?还想补decision analysis and optimization不过不清楚是否是必须的。。。。编程的目前差太多了,我感觉这种的是需要补到能当小半个码农的地步,不说自己亲自写真正最后被用的软件,起码要能写prototype。简直没有时间弄到这个程度啊啊啊啊啊啊
. .и.--
回复

使用道具 举报

🔗
modifiedname 2012-11-9 06:41:48 | 只看该作者
全局:
google对R code怎么个规定法?
回复

使用道具 举报

🔗
duanmupeiyi 2012-11-9 07:46:47 | 只看该作者
全局:
小K 发表于 2012-11-8 14:41
google对R code怎么个规定法?

公司内部的code quality control 不清楚,只是知道比学术界严格多了. Χ

这个是Google R style guide:
http://google-styleguide.googlec ... google-r-style.html
. 1point3acres.com
偶现在部分遵循这个guide,因为最开始学的是java,一些编程习惯还是严重收到那门课的影响。。。


点评

thanks!!  发表于 2012-11-9 08:08
回复

使用道具 举报

🔗
duanmupeiyi 2012-11-9 07:52:42 | 只看该作者
全局:
小K 发表于 2012-11-8 14:38
求端木帮带!!!我要补的除了编程外,目前在单子上的还有time series(没有学过啊啊啊啊),data mining ...

是啊是啊,好多东西都想学
ABTesing不晓得,555
. 1point 3acres
编程是一定要动手练了。感觉当年上过intro to programming还是很有帮助的,一些programming习惯养成了就很难改  :P
没事自己写点小程序练练手也不错,前端日子拿python写了一个处理jasa bibtex的小程序, JASA官网提供的bibtex不符合我的要求 = =.google  и

偶还是更倾向于上课学习,在考虑将来工作了去读个professional CS master,让公司付学费 LOL

. 1point 3acres


回复

使用道具 举报

🔗
duanmupeiyi 2012-11-9 07:54:20 | 只看该作者
全局:
现在转行也不晚,木咔咔

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表