（节选版发表于21世纪商业评论12月号）
毛旭新 伦敦大学学院（UCL）博导、讲师
2016年美国大选，一场牵动全世界亿万人神经，影响深远的大事件。截止到12月1日，美国选票清点仍在进行中，希拉里的选票已经超过特朗普250万张。如果按照全国得票率来决定美国总统人选的话，希拉里将以超过特朗普2%的支持度赢得大选。但是特朗普赢得了更多的选举人票数，成功当选总统。
结果已出，尘埃未定。无数的疑问仍需要回答，无数的谜团似乎仍然待解。本文作者根据自己3年大数据分析和人工智能预测经验，利用自创立TRUST （主题检索、揭视及结构式测试Topic Retrieved, Uncovered and Structurally Tested ，简称“TRUST”）大数据分析预测框架，在结合自己预测和英美计算机科学家研究的基础上，试图解析民调机构过高预测了希拉里的得票率的原因，和特朗普阵营利用人工智能科技，社交媒体平台和政治机器人／僵尸账户（political bots）来赢得选战的可能性路径。
- 为什么大部分民调预测失败？
美国大选结束后，很多人开始质疑民调的准确性。的确，我们把11月9号结果出炉后才公布的“预测”排除掉，大部分机构和预测师，包括曾经成功预测2012年大选结果的内特·希尔沃（Nate Silver），都在这次预测大战中折戟 。我们把预测大选结果分成两方面看：预测全国选民得票率（综合民调预测）和进一步预测美国50个州特别是摇摆州结果（选举人票预测）。
在第一个层面，如表一所示，据多方了解， 唯一利用科学模型成功预测出国选民的票率的案例来自于毛旭新博士及其TRUST平台。
表一： 美国大选综合民调预测准确度
| 预测机构或模型 | 希拉里超特朗普得票率 | 与实际得票率偏差 |
| TRUST模型（毛旭新博士） | 2% | 0% |
| FiveThirtyEight (Nate Silver) | 3% | 1% |
| 赫芬顿邮报 | 5% | 3% |
| Linzer’s模型 （Pierre-Antoine Kremp） | 4% | 2% |
| BBC | 4% | 2% |
| 纽约时报 | 3% | 1% |
| ElectionProjection.com | 3% | 1% |
| RealClearPolitics.com | 3% | 1% |
与其它预测专家和机构只对传统民调进行统计分析预测不同，毛旭新博士以经济学、政治学、社会学等社会科学理论为基础，结合行为科学和计算机科学的进展，该模型在不侵犯个人隐私的情况下，在完整还原大样本人群的决策过程及影响因素之后做出相对出科学的预测和分析。
TRUST框架首先采用自然语言处理、机器学习等人工智能手段，从网络和报纸上的海量相关报道来获取关于两位候选人的关键主题.在此基础上，我们重构谷歌大数据的指标，并结合选前三个月来的每日投票意向的信息，分别构建相关的选举人、议题大数据指标和民调变化指标，并进行数据清洁和整理。之后，我们 利用矩阵自变量回归（VAR）模型对各指标进行系统性检测，保留对民意变化有显著影响的变量，去除无显著影响变量。在此基础上，我们可以判定变量对各候选人支持度的具体影响并作出了希拉里会多赢2%选票的预测。
我们认为，传统的民调除了无法覆盖大量人群，存在样本偏差的同时，无法及时更新选民在决策过程的相关信息。大部分选民会在广泛了解候选人相关即时信息的基础上再来投票。随着人工智能技术的进步，我们可以从全国选民阅读的主流媒体，网络检索和查询中找到影响他们决策的关键信息。经过清理后，这些网络大数据信息与传统民调信息结合进行严格统计分析，会展现出选民投票信息需求和决策制定的相对完整的过程。根据我们预测2014年苏格兰公投，2015年英国大选和2016年美国大选中全国选民成功率的成功案例，和在全球建筑和金融市场的成功经验，我们有理由相信TRUST模型将在全国范围内大量人群行为预测实践中继续取得成功，并有广泛的商业价值。
但是，在第二个层面，根据现有信息， 没有机构和个人利用模型在投票日前作出全国选举人票数的公开科学预测。在美国，各州选举人票数加总，而非全美选票数，最终决定了美国大选结果，特朗普赢得了关键的摇摆州 （特别是五大湖周边的没落工业区‘锈带’宾夕法尼亚，密歇根，威斯康辛）。是什么因素导致了这一层面预测失败？我们将在接下来详细分析。
- 非正常选战
在21世纪商业评论的报告中， 毛旭新博士已经指出2016年美国大选是一场非典型选战。选民没有太多关注经济和传统政治议题，设计了太多人身攻击。我们同时发现了这次选战的很多不寻常之处，我们不禁要问，难道是今年独特的选举环境导致了关键摇摆州预测失败吗？
- 口无遮拦谎言连篇的候选人
2016年美国大选中充斥着各种谎言。特别指出的是，大选期间特朗普发表的言论中有超过一半被认为是完全错误和谎言，只有不到4%完全符合事实。我们不禁要问，为什么美国选民最后选择了一位谎话连篇的候选人？特别是美国选民尤其是更加传统的共和党支持者，对于其候选人的行为操守要求非常严格，在这样的情况下，他是如何杀出重围一步步当选总统的呢？
表二： 2016美国总统参选人言论准确度表
| 参选人言论准确度 | 希拉里 | 特朗普 |
| 完全准确 | 25% | 4% |
| 基本准确 | 26% | 11% |
| 对错各半 | 24% | 15% |
| 基本不准确 | 14% | 19% |
| 完全错误 | 10% | 33% |
| 谎言 | 2% | 18% |
2.2 散布大量虚假信息的社交媒体政治机器人（Political Bots)
今年美国大选的一个 重要特殊问题是社交媒体上存在大量支持特朗普的政治机器人。在社交媒体的语境下，机器人(Bot) 是指基于人工智能技术，自动模拟人类行为，特别是能自动模拟发布信息的程序。在这次美国大选期间，双方，特别是特朗普阵营，在社交媒体（Twitter，Facebook）平台利用大量政治机器人，模拟人类用户与真实选民交流，并试图影响选民投票意向。
根据毛旭新博士，Politicalbots.org 和美国南加州大学Emilio Ferrara博士的研究，我们发现，在美国大选期间，2016年9月中旬到10月中旬，20%以上的与美国大选相关推特信息都是由机器人发出，而其中3/4以上都支持特朗普，不到1/4支持希拉里。而随着选举日的临近，越来越多的机器人自动信息支持特朗普，到选举日支持特朗普和希拉里的信息比达到惊人的5:1. 同时，支持特朗普的机器人会模仿人类作息规律，推文行文更加符合人类语言表达，选举结束后，数十万计支持特朗普的政治机器人很快停止了自动程序。我们不排除这种可能，人工智能技术开发的在社交媒体上散步大量支持特朗普，抹黑希拉里的政治机器人，成功扭转了大家对于特朗普连篇谎话的关注， 转向克林顿阵营方面的丑闻。
- 主流媒体影响力下降 选民不关注核心议题
面对着汹涌而来的社交媒体中的智能机器人，传统媒体的对于深层次议题的引导力明显下降。主流媒体对于参选人错误事实的纠正很快就淹没在机器假信息的海洋里。 2016年美国大选掺杂了过多的人身攻击，极少涉及深层次议题。 选民除了工作就业问题以外，对于其它重要的经济和传统政治议题（堕胎，禁枪等）没有关注。双方阵营的选民都高度关注两位候选人本人和其选举期间的各种争议事件，包括了民主党阵营方面的电邮门，克林顿基金会和共和党方面的特朗普的关于女性移民等议题的争议言论和可能的逃税行为。按照我们的正确预测，这样的混沌战争使得特朗普阵营将差距缩小到2%，但是这样的差距在正常的选战中是不会赢的大选的。我们需要进一步看一下在选举人票方面起到决定作用的摇摆州方面的情况。
表三：美国大选期间关键话题
| 日期 | 希拉里·克林顿 | 唐纳德 ·特朗普 |
| 2016年8月7日－2016年11月5日 | 希拉里·克林顿, 唐纳德·特朗普, 电邮，克林顿基金会，税务， 工作，女性 | 希拉里·克林顿, 唐纳德·特朗普， 奥巴马， 税务，女性 |
来源： 毛旭新， 11月7号预测 http://mt.sohu.com/20161108/n472642093.shtml
2.4 摇摆州白人的超决定率 voting power（超高的白人支持度和超多白人的摇摆州）
美国是一个多种族的国家。政治正确与否，任何州选战都要考虑该州的人口组成。奥巴马成功当选并连任总统使得很多评论家认为美国选民投票种族考量比重下降。但是奥巴马当政8年，种族问题却越来越多。这次选战中，种族问题重新浮现。
在所有的民调中，55-60%的白人选民都选择特朗普。美国的人口种族分布不均。非西语裔的白人在美国人口比重为63%，在锈带摇摆州里，情况则大不相同，白人比重都超过76%。根据美国的选举人团制度，这些白人的票比其他族裔的票有更高的决定率。根据我的估算，在整个总统选战里，一张白人票在全国范围内大概具有1.05-1.1张选票的决定力，而在摇摆州这一决定力相当于1.07-1.12张选票。2016年美国选战中，谁获得这几个摇摆州谁讲获得美国300张以上的选举人票，超过当选所需270张。如果采用这种加权处理的民调，俄亥俄和爱荷华从10月中下旬以来就倒向特朗普阵营，宾夕法尼亚，密西根，威斯康辛也已经处于双方阵营都可以争取的范围。
表四：关键摇摆州非西语裔白人分布比率
| 非西语裔白人比率 | |
| 宾夕法尼亚 | 79% |
| 密西根 | 76% |
| 威斯康辛 | 83% |
| 俄亥俄 | 81% |
| 爱荷华 | 88% |
| 美国整体 | 63% |
数据来源：美国人口普查年鉴2010-2015估计数据
2.5 FBI重启调查后的摇摆州
10月下旬FBI重启调查成了最后一根稻草。我们的TRUST模型判定了这次选战中大家对于参选人信息的关注有助于其支持度的提高，而对于其对手则有反作用。我们发现，在10月底FBI重启调查后，特朗普阵营在摇摆州大数据关注度方面开始甩开希拉里阵营。在这一期间，在摇摆州里特朗普比希拉里多进行了2倍以上的公众集会 public rally，政治机器人的信息比希拉里更加密集，有效吸引选民关注的同时成功淹没了主流媒体对于其谎言的检视信息。我们的TRUST模型估计最后的10天，这三个州中，特朗普比希拉里多争取了30-50万摇摆选民，虽然在全国选民中比重可以忽略不计，但足以改变选举方向。
图：10月28日后到11月8日选举前希拉里和特朗普关注度
（红线为选民对特朗普关注度，蓝线为希拉里。分别为密歇根，宾夕法尼亚和威斯康辛）
来源：毛旭新根据谷歌数据整理
2.6. 小结
在这一部分，我们试图探究这次美国大选的非正常性。面对口无遮拦的候选人，这本来是一场民主党可以稳赢的选战，完全不用争取重新计票。不管重新计票结果如何，除了11月7日报告中提到的希拉里本身的丑闻之外，特朗普阵营同时着力于白人选民和摇摆州， 利用社交平台，采用大量人工智能化的政治机器人散播信息， 一石三鸟 （降低主流媒体影响，清洗自身丑闻影响，并打击希拉里阵营） 打了成功的大数据选战。
- 总结
面临着缠绕着如此非典型事件，这是有史以来最难预测的大选。运用唯一成功预测出全国投票率的TRSUT平台，我们试图追根朔源，基于对官方统计数据，网络大数据和民调统计方法角度找到可能预测摇摆州选票的方法。
3.1 基于TRUST的摇摆州更新预测分析
10月7日TRUST的预测中采用的是美国全国范围的新闻，网络大数据分析，对于单个州的大数据挖掘不够。在这个更新报告中，我们真对有争议并最终改变选举结果的三个摇摆州（宾夕法尼亚，密歇根，威斯康辛）来进行详细分析。
我们发现，之前报告中对全国选民投票影响因素在这三个州依然成立，如果选举中未出现任何突发事件，这三个州的结果会符合10月7日TRUST作出的预测：支持希拉里。但是，我们最新发现，10月29日FBI重启调查后后摇摆州选民出现了异动，并导致了最终摇摆州出现不同的结果。而其异动程度只有30-50万人，不会改变之前TRUST对于全国投票率的预测。也就是说，如果我们的TRUST模型能够真对各州进行微调，是能够在准确预测全国得票率的情况下，准确预测出各州的最终结果。
3.2.建议和设想
我们根据过去数年成功的经济政治预测经历，准备继续开发TRUST平台，并为金融投资，商业预测，产品开发和公共政策管理提供支持。在接下的数年里，我们要尽心如下安排：
- 传统和现代的调查方法都要结合来获得更有代表性的样本
除了采取电话和网络问卷之外，如果发现样本不具备代表性，应该考虑各种方法纠偏。社区调研的方法来获得不容易获得的人群，同时对于网络信息要有处理和辨析能力。
- 结合人工智能技术和统计模型尽行大数据分析。
调研数据是对象人群主动提供的数据，往往有所保留，不能完全反映其真实想法。在信息时代，我们利用新技术在不侵犯隐私的情况下获得他们被动留下来的信息，结合主动信息，形成完整的人群决策行为分析链。
- 完善预测系统的理论层面支持
我们在数据分析的同时，能有依托人类行为科学，经济学，政治学，社会学等对人类行为的理论，争取能够解释数据背后的来龙去脉。同时，我们的分析，可以为这些学科的理论发展提供不可多得的‘自然实验‘ （Natural Experiment）的机会。
- 处理人工智能时代可能出现的数据安全和信息杂音问题
人工智能也有争议一面。我们以后也许会看到更多的僵尸粉，更多的机器人，在提供错误的信息，误导我们作出错误的决定。
我们相信，这些建议对于整个预测科学的发展都有助益，我们也能不断完善，使各行业在同我们TRUST平台的合作中获益。
xuxinmao 