大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活

股票学习站

	【资料名称】:大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活 【资料描述】: 　　编辑推荐 　　《大数据》，中国+美国，两国要人推荐，持续畅销，领跑大数据时代好的书——【中国高层人物汪洋】+【奥巴马总统大选亚裔事务顾问、美国华人全国委员会会长、凤凰卫视时事评论员薛海培】+【英特尔全球副总裁、中国区总裁杨叙】+【中国互联网发展的重要参与者、知名IT评论人谢文】+【中国房地产风云人物任志强】+【史学大家、匹兹堡大学历史系荣誉讲座教授许倬云】+【中美10大高校著名学者】……《大数据》，这里有“中国对手”—— 　　大数据浪潮，汹涌来袭。20世纪大萧条以来，美国作为世界强国的开放历史，数据技术浪潮的兴起过程，气势磅礴，波澜壮阔。真正读懂中国趋势，一定要先读懂美国。美国政府为什么能，中国到底缺什么？ 　　《大数据》，这里有“中国建言”—— 　　哈佛大学商学院访问教授、全球的管理咨询大师达文波特，把脉经济，数据治国，专门为中国政经两界提示智库建言：“在很多领域，中国政府和中国的企业都有雄心勃勃的计划，这引起了全世界的关注，这些雄心和计划，现在应该拓展到大数据的领域。” 　　《大数据》，这里有“中国财富”—— 　　现代管理学之父德鲁克有言，预测未来好的方法，就是去创造未来。商务智能、云计算、Facebook、推特、Web3.0、语义网……数据战争，就是未来之争！数据兴则企业兴，数据强则企业强！叫醒中国，中国模式的粗放式增长，迈向精细化的管理革命，大数据将是下一个社会发展阶段的“石油”和“金矿”。 　　《大数据》，这里有“中国致敬”—— 　　活着就为改变世界，只有偏执狂才能生存，不要以为乔布斯、盖茨、扎克伯格才这样。美国之为美国，还有坚持信息自由的新闻记者、发现摩尔定律的工程师、定义数据仓库的实业家、首倡普适计算的业余鼓手、鼓吹财政公开的民间活动家、倡导数据开放运动的青年学生，以及活跃在无数公民自治组织的普通个人。 　　《大数据》，这里有“中国问题”—— 　　回望中国，胡适批评“差不多先生”，黄仁宇求索“数目字管理”，我们的世界看起来雷打不动。大数据时代，挑战中国，摘不下“差不多先生”的文化标签，我们世界工厂还将是一个落后的100年！ 　　《大数据》，这里有“中国乡愁”—— 　　大数据战略，重新洗牌全球格局：美国，再一次领跑世界；中国，却很可能再失良机而浑然不知！中国迷局如何解开？具海归视野、近20年中美职业生涯的作者，从太平洋对面看到中美两国的差距，披露大量美国真实案例，为华文世界开启大数据重要话题，写成这本意在兴邦治国的战略之书，图文并茂，老百姓也看得懂。 　　内容简介 　　入榜《亚洲周刊》“年度十大好书”，持续畅销；叫醒中国，领跑大数据时代*好的书。 　　中国高层人物汪洋，读后非常有启发，针对国人数据意识的淡薄由来已久，中国如何应对大数据时代的挑战，他在工作会议上说：“我希望大家能认真读一读这本书，带着问题读，带着想法读。” 　　哈佛大学商学院访问教授、全球顶*管理咨询师达文波特，为中国政经两界提示智库建言：“无论是对中国政府，还是就中国的商业组织而言，《大数据》都是一本重要的书。” 　　史学大家、匹兹堡大学历史系荣誉讲座教授许倬云，有感于“老大哥”的影子，专门作序：“我们要对涂子沛先生致敬与致谢，因为他为华文世界提出一个重要的话题。” 　　公布官员财产美国是怎么做的，美国能让少部人腐败起来吗，美国式上访是怎么回事，凭什么美国矿难那么少，全民医改美国做得到吗，美国总统大选有什么利器才能赢，下一轮全球洗牌我们世界工厂会被淘汰吗……除了上帝，任何人都必须用数据来说话。 　　大数据浪潮，汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。现代管理学之父德鲁克有言，预测未来*好的方法，就是去创造未来。而“大数据战略”，则是当下领航全球的先机。 　　大数据，这一世界大潮的来龙去脉如何？数据技术变革，何以能推动政府信息公开、透明和社会公正？何以促发行政管理和商业管理革新，并创造无限商机？又何以既便利又危及我们每个人的生活？Google、百度之类搜索服务，何以会不再有立足之地？引领世界的数据帝国——美国和西欧，正在如何应对大数据时代？我们中国，又当如何作为？ 　　本书通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和变革。 　　美国是全书主体，但又处处反观中国当下的现实。回望中国，胡适批评“差不多先生”，黄仁宇求索“数目字管理”，作者从太平洋对面看到中美两国的差距，深知中国缺少什么、需要什么，故将十多年观察、思索所得，又新增微学校、微学位等教育领域正在发生的革命，以及建言中国“大数据战略”的重要文章和访谈，淘洗成这本“2.0升级版”——《大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活》。 　　作者简介 　　涂子沛，知名专栏作家、信息管理专家，先后为《南方都市报》、《IT经理世界》、艾瑞网等多个报刊网站撰写专栏，网易、财经网名博博主。毕业于华中科技大学、中山大学和卡内基梅隆大学。赴美留学之前，曾在省、市、县几级政府的不同部门磨砺10年，做过职业程序员，担任过公安边防巡逻艇的指挥官，也从事过政府统计工作。现任职于美国某软件公司数据中心，并担任中国旅美科技协会副主席。除了工作、写作，还热心公益，是匹兹堡华人社区的领袖。 　　精彩书评 　　★在很多领域，中国政府和中国的企业都有雄心勃勃的计划，这引起了全世界的关注，这些雄心和计划，现在应该拓展到大数据的领域。涂子沛先生的《大数据》这本书，将在这个重要的领域，为中国政府和企业的努力提供引导和帮助。 　　无论是对中国政府，还是就中国的商业组织而言，《大数据》都是一本重要的书。 　　——托马斯·H·达文波特 全球顶*的管理咨询大师、哈佛大学商学院访问教授、巴布森学院总统杰出奖教授★在极权的国家，他们手上拥有足够的资讯，足以利用这资讯，掌握每一个人的日常生活；“老大哥”的影子，可以无所不在……涂子沛先生《大数据》这部书，清楚地叙述了资讯时代对我们生活的影响与社会的控御力。他讨论的范围方方面面、极为广泛。我们要对涂子沛先生致敬与致谢，因为他为华文世界提出一个重要的话题。 　　——许倬云 史学大家、匹兹堡大学历史系荣誉讲座教授★《大数据》从奥巴马建设“前所未有的开放政府”出发，描写了半个多世纪以来数据对美国社会政治、商业、文化等方方面面的影响，谈及了1930年以来历任美国总统，可谓波澜壮阔。涂子沛作为科技业的精英，并没有将自己眼光和生活局限于技术之上，他对美国社会的独到观察和理解、对华人社区工作的积极参与和贡献，都是促成本书成为一本佳作的重要原因。 　　——薛海培 奥巴马总统大选亚裔事务顾问、美国华人全国委员会会长、凤凰卫视时事评论员★《大数据》这本书讲述了数据技术浪潮的兴起过程，回顾了近一个世纪以来美国作为一个世界强国的开放历史，气势磅礴。从书中可以看到，美国的发展动力，正是开放和创新。我们正在向个性化的智能互联网时代迈进，计算力的扩展正在不断加速，数据将成为我们强大的创新动力。 　　——杨叙 英特尔全球副总裁、中国区总裁 　　★《大数据》是一本视角独特、取材新颖、别开生面的好书。它以数据为轴线，描绘了美国走过的开放创新历程。从该历程中我们看到，数据挖掘是一种知识生产过程，从中产生创新，产生管理，产生推动社会变革的理论与实践。更有意思的是，美国政治的发展，公民权利的实现，以及各种自由与福利的保障，都和对数据的创造性应用密切相关。这对已经步入信息时代的中国，尤其有借鉴意义。趋势所在，数据乃大。涂子沛先生的专业性分析和介绍，是一项创造性的工作。 　　——郭巍青 中山大学政治与公共事务管理学院教授★大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析，以及一个激发管理创新的环境。涂子沛的《大数据》这本书总结了美国的经验和实践，并为中国提出了一个路线图。我为他的成就感到骄傲。这本书完整地融合了技术、政治、商业三个角度，体现了我们学院师资教学的独特优势。我相信本书会在中国激发新的思想和讨论，帮助中国迎接大数据的挑战。 　　——Ramayya Krishnan 卡内基梅隆大学海因兹学院及信息管理学院院长、终身教授★通过历史故事的讲述，用近似新闻评论的笔法，《大数据》这本书以美国为例介绍了由经验管理到数据管理这场正在发生的革命性变革，通俗形象地讲清楚了科学的道理，实属难得。这对学者们扩大视野，对管理干部深化科学发展观的认识，都有十分重要的价值。 　　——薛华成 中国管理信息系统的主要开创者、澳门科技大学行政与管理学院名誉院长★《大数据》这本书揭示了数据在未来社会中的革命性作用。大数据将是下一个社会发展阶段的“石油”和“金矿”。无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。关于数据的知识，将成为个人知识结构中的必备要素和基础。 　　——施伯乐 复旦大学计算机研究所所长、上海（国际）数据库研究中心主任★18世纪启动的工业革命为人类创造了巨大的财富，也极大地推动了社会变革。20世纪中启动的信息革命对人类社会也将产生巨大的冲击，而这个进程刚刚开始。涂子沛先生所著的《大数据》一书，用有趣的故事带我们回顾信息时代的里程碑，使我们透过未来的变幻不清的迷雾，展望和畅想信息革命的大趋势。 　　——董洁林 苏州大学企业创新和发展研究中心主任、教授★《大数据》值得仔细阅读与思考。要让数据更好地说话，既依赖于数据科学与技术的发展，更需要政府、机构和公民的数据意识的不断提高。 　　——汪小帆 上海交大电子信息与电气工程学院教授★数据科学正在成为一个新兴的学科和领域。涂子沛先生的《大数据》这本书，为我们揭示了大数据浪潮发生的前因后果，以及这种技术进步对政治、经济、文化的种种影响。希望读者从本书中获益，以积极的态势应对中国的大数据挑战。 　　——张晖 卡内基梅隆大学计算机系终身教授 　　目录 　　序言一 大数据：为华文世界提出一个重要话题/许倬云序言二 中国的雄心应该拓展到大数据领域/托马斯·H·达文波特序幕 新总统的第一天 　　一人一票：把“黑”人送进“白”宫 　　大国新政：阳光是最好的防腐剂 　　上 篇 帝国风云：得数据者得天下——美国的成功经验第一章 历史争战《信息自由法》 　　第四股力量：知情权的起点 　　国会议员：孤独的战争 　　白宫当家人：一个妥协者和机动者 　　政府VS. 社会：旧剧情重现新时代 　　第二章 数据帝国的兴起 　　摩尔定律：全世界半个世纪的发展规律 　　最小数据集：上升到立法高度的开路先锋 　　民意几时有：选票催生的创新 　　普适计算：计算机本身将从人们的视线中消失 　　“大数据”战略：争夺全世界的下一个前沿 　　第三章 数据治国 　　循“数”管理：平安大道怎样铺 　　数据“验”平权：民权史上的碑石 　　数据“打”假：最大的争议就是福利滥用 　　CompStat ：街头警察的创新传奇 　　第四章 商务智能的前世今生 　　起源：从数据到知识的挑战和跨越 　　结蛹：数据仓库之厚积薄发 　　蚕动：联机分析之惊艳 　　破茧：数据挖掘之智能生命的产生 　　化蝶：数据可视化的华丽上演 　　中 篇 法则博弈：大数据时代的发展与危机 　　第五章 帝国的法则 　　收集法则：减负，为人民减负 　　使用法则：隐私，文明社会的共识 　　发布法则：免费，人民已经交税 　　管理法则：质量，互联网时代的根本 　　第六章 《数据质量法》的困局 　　产业界“俘虏”政府：数据背后的政经战争 　　美式“旋转门”：权、名、利大串场 　　“掺沙子”法案：国会对付总统的独门秘器 　　环保“风险门”：公共利益常常无人代表 　　集体行动的逻辑：人人都想“搭便车” 　　三权之歧：什么是真正的“和谐” 　　第七章 全国隐私风波 　　《一九八四》：零隐私的恐惧 　　大数据就是“老大哥”：中央数据银行之争 　　百年纠结：统一身份证 　　“9·11”大拐点：以反恐的名义向左转 　　万维信息触角计划：追踪恐怖分子的“数据脚印” 　　6 种改变政府的力量：山姆大叔大退让 　　下 篇 公民故事：公民社会与数据互动之双赢时代第八章 数据开放运动 　　一个新的世界：从软件开源到数据开放 　　总统的雄心：公共财政支出透明 　　数据民主：印裔首席信息官的崛起 　　Data.Gov：从旗舰初航到保“数”运动 　　大众创新：航班延误之候机经济学 　　第九章 试金石：白宫访客记录 　　总统在见谁：大医改中的“小”插曲 　　全体美国人的房子：白宫 　　步步妥协：总统与草根的对决 　　从白宫安保到政治监督：执著的公民改变世界 　　第十章 矿难中的歌声和数据 　　集体行动的号角：你站在哪一边 　　可以避免的悲剧：数据揭示的全景式真相 　　默认公开推定：和矿难赛跑的原则 　　唯一的道路：民主时时都要“争” 　　外 篇 天下趋势：大数据社会未来之世界走向 　　第十一章 大趋势 　　数据权：大不列颠的硕果 　　大合流: 国际开放联盟 　　云计算：新的航向 　　再造互联网：从网页相连到数据相“联” 　　第十二章 大挑战 　　逐鹿政坛：得数据者得天下 　　数据竞争：企业赢之道 　　下一波浪潮：从大数据到大社会 　　第十三章 大变革（2.0升级版新增） 　　微学位：教育领域正在发生的革命 　　大数据：再谈教育领域正在发生的革命 　　微学校：三谈教育领域正在发生的革命 　　尾声 挑战中国：摘下“差不多先生”的文化标签大事记 20世纪大萧条后美国信息开放、技术创新之路后记 搭建“大数据”的世界 　　建言 中国如何应对大数据时代的挑战（2.0升级版新增）访谈 大数据时代的“中国梦”（2.0升级版新增）收起全部↑ 　　精彩书摘 　　【“大数据”战略：争夺全世界的下一个前沿】 　　联邦政府的每一个机构和部门，都需要制定一个应对“大数据”的战略。 　　——《规划数字化的未来：美国总统科学技术顾问委员会给总统和国会的报告》2010年业务工作的管理数据，民意社情的调查数据，以及对大自然、动植物的特点和变化进行监控而产生的环境数据，是联邦政府的三大数据来源。这三种数据，其发展各有先后，收集方式各不相同，数据量也大小不一。它们之间，存在着一些交叉和重叠，有一些民意调查的数据，是业务数据，而一些因环境监控产生的数据，也可以是业务工作的数据。 　　由于无线传感器的快速普及，环境数据增长得最快，成为联邦政府数据量最大的来源。 　　虽然环境数据增长得最快，但这三种数据，其实都在爆炸。这种爆炸，并不仅仅是数量一个维度的。2001年，著名的高德纳咨询公司（Gartner）在一份研究报告21中指出，数据的爆炸是“三维的”、是立体的，这三个维度，主要表现在以下三个方面： 　　一是同一类型的数据量在快速增大； 　　二是数据增长的速度在加快； 　　三是数据的多样性，即新的数据来源和新的数据种类在不断增加。 　　数据的爆炸性增长，也不仅仅限于联邦政府。如前文所述，2011年麦肯锡公司在其研究报告《大数据：下一个创新、竞争和生产率的前沿》中指出，在美国，仅仅制造行业就拥有比美国政府还多一倍的数据，此外，新闻业、银行业、医疗业、投资业、零售业都拥有可以和美国政府相提并论的海量数据。 　　哈尔·范里安（Hal Varian）是谷歌的首席经济学家，也是美国研究信息经济学的著名学者。2000年，他对数据和信息产生的速度进行了研究，他认为，人类社会每年产生的信息量，实在太大了，已经没办法用准确的方法来计算现有的数字信息总量，只能估算。他估计2000年新产生的数据量为1000拍到2000拍。但到2010年，仅仅全球企业一年新存储的数据量就超过了7000拍，而全球消费者新存储的数据量约为6000拍。 　　这种数据量的增长，已经大大超出了人类的预期和想象。时至今日，数据已经像“洪流”一样，在全球的政治、经济生活当中奔腾。而且，随着信息技术的普及和进步，新的支流还在不断产生，各个支流流动、交汇和整合的速度，还在继续加快。 　　作为美国社会的信息枢纽，联邦政府当然要正面迎对这个挑战。 　　2010年12月，总统行政办公室下属的科学技术顾问委员会（PCAST）、信息技术顾问委员会（PITAC）向奥巴马和国会提交了《规划数字化未来》的专门报告，该报告把数据收集和使用的工作，提到了战略的高度。 　　这个报告列举了5个贯穿各个科技领域的共同挑战，报告指出“每一个挑战都至关重要”，而第一个挑战就是“数据”问题。报告说： 　　“如何收集、保存、维护、管理、分析、共享正在呈指数级增长的数据是我们必须面对的一个重要挑战。从网络摄像头、博客、天文望远镜到超级计算机的仿真，来自于不同渠道的数据以不同的形式如潮水一般向我们涌来。这些数据以不同的格式存储在不同的环境中，有的在计算机的硬盘里，有的在数据仓库之内。 　　如何保证这些数据现在、将来的完整性和可用性，我们面临着很多的问题和挑战。如何使用这些数据，则是另外一个挑战……应对好这些挑战，将引导我们在科研、医疗、商业和国家安全方面开创新的成功。” 　　在报告中，两个委员会还例举了美国癌症研究所以及中央情报局如何通过收集海量数据、建立数据仓库、实施以数据挖掘为核心的自动分析技术，获得了出人意料的创新和成功。 　　委员会一致认为，如何有效地利用数据将贯穿所有科技领域的挑战。最后，两个委员会向奥巴马建议：联邦政府的每一个机构和部门，都需要制定一个“大数据”的战略。 　　其实，“大数据”这个名词并不新鲜，早在1980年代，美国就有人提出了“大数据”的概念。20多年来，各个领域的数据量都在迅猛增长，美国的企业界、学术界也不断地对这个现象及其意义进行探讨，“大数据”这个名词变得越来越流行、越来越重要，最后成为了国家和政府层面的发展战略。 　　之所以要称之为战略，是因为“大数据”之“大”，并不仅仅在于其“容量之大”。当然，由于数据容量的爆炸，数据的收集、保存、维护以及共享等等任务，都成为具有研究意义的现象和挑战。但“大数据”之“大”，更多的意义在于：人类可以“分析和使用”的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值，带来“大知识”、“大科技”、“大利润”和“大发展”。 　　如前文所述，数据，是记录信息的载体，是知识的来源。数据的激增，意味着人类的记录范围、测量范围和分析范围在不断扩大，知识的边界在不断延伸。 　　2007年，雅虎的首席科学家沃茨博士在《自然》上发表了一篇文章《21世纪的科学》22，他发现，得益于计算机技术和海量数据库的发展，个人在真实世界的活动得到了前所未有的记录，这种记录的粒度23很高，频度在不断增加，为社会科学的定量分析提供了极为丰富的数据。由于能测得更准、计算得更加精确，他认为，社会科学将脱下“准科学”的外衣，在21世纪全面迈进科学的殿堂。例如，新闻的跟帖、网站的下载记录、社交平台的互动记录等等都为政治行为的研究提供了大量的数据，政治学这门古老的学科，将登堂入室，成为地道的“科学”。 　　麻省理工学院的教授布伦乔尔森（Erik Brynjolfsson）则比喻说，大数据的影响，就像4个世纪之前人类发明的显微镜一样。显微镜把人类对自然界的观察和测量水平推进到了“细胞”的级别，给人类社会带来了历史性的进步和革命。24 而大数据，将成为我们下一个观察人类自身社会行为的“显微镜”和监测大自然的“仪表盘”。 　　这个新的显微镜，将再一次扩大人类科学的范围，推动人类知识的增长，引领新的经济繁荣。麦肯锡全球研究所在其2011年的报告中最后概括说：大数据，将成为全世界下一个创新、竞争和生产率提高的前沿。 　　抢占这个前沿，无异于抢占下一个时代的“石油”和“金矿”。 　　2012年3月29日，奥巴马政府又进一步推进了其“大数据”战略。奥巴马的高级顾问、总统科学技术顾问委员会（PCAST）的主席霍尔德伦（John Holdren）代表国防部、能源部等6个联邦政府部门宣布，将投入2亿多美元立即启动“大数据发展研究计划”（Big Data Research and Development Initiative），以推动大数据的提取、存储、分析、共享和可视化。霍尔德伦也是哈佛大学肯尼迪政府学院的知名教授，他在讲话中表示：像美国历史上对超级计算和互联网的投资一样，这个大数据发展研究计划将对美国的创新、科研、教育和国防产生深远的影响。 　　奥巴马则强调联邦政府必须和公司、大学结盟，全民动员（All Hands on Deck），来应对“大数据”时代的挑战。 　　【建言：中国如何应对大数据时代的挑战】 　　（四） 政府需要做什么？ 　　一是政府机构、行业组织和大型企业要建立专门的数据治理机构来统筹数据治理的工作，例如数据治理委员会、大数据管理局等，数据治理的重点在于数据定义的一致性和数据的质量。在大数据时代，不同系统之间的数据要进行整合，因此要有统一的元数据定义，这不仅是中国而且是全世界当下都在面临的挑战。各个领域和行业的数据标准制定得好，将会起到事半功倍的效果。就单个企业而言，要认识到，未来的竞争是知识生产率而不是劳动生产率的竞争，数据分析产生的价值可能比较碎片化，分布在商业流程的各个环节，数据挖掘的投资回报也有不确定性，但企业领导必须有眼光，把数据治理的工作尽快统筹起来，为增强企业在大数据时代的竞争力做好准备。此外，数据治理机构的首长应该由组织的高层领导担任，否则标准无法推进到全局，也改善不了整个行业或组织的情况。 　　二是开放数据。数据增值的关键在于整合，但自由整合的前提是数据的开放。开放数据是指将原始的数据及其相关元数据以可以下载的电子格式放在互联网上，让其他方自由使用。开放数据和公开数据是两个不同的概念，公开是信息层面的，是一条一条的；开放是数据库层面的，是一片一片的。开放也不一定代表免费，企业的数据，可以以收费的形式开放。开放也是有层次的，可以对某个群体、某个组织，也可以对整个社会开放。在大数据的时代，开放数据的意义，不仅仅是满足公民的知情权，更在于让大数据时代最重要的生产资料数据自由地流动起来，以催生创新，推动知识经济和网络经济的发展，促进中国的经济增长由粗放型向精细型转型升级。 　　三是鼓励、扶持基于数据的创新和创业。政策扶持的传统方法，可能是以政府为主导建立大数据产业园，对新兴企业提供办公场所等便利条件或者现金支持，这固然有效，但更有效的方式是调动全社会的力量。例如，拨款支持大数据开源社区、程序员协会等民间组织的建设，通过扶持类似的民间团体，快速推进新技术、新理念在全社会的传播和普及；再例如，以开放的数据为基础，举办应用程序开发大赛，向全社会征询数据使用、创新的意见，主办方可以是政府，也可以是企业，拿出一定的资金，奖励最优秀的应用程序，激发民间蕴藏的创新力量。 　　四是要在全社会弘扬数据文化。数据文化，是尊重事实、推崇理性、强调精确的文化。要承认，回望历史，中国是个数据文化匮乏的国家，就现状而言，中国数据的公信力弱、质量低，数据定义的一致性差也是不争的事实。这方面，政府应该发挥主导作用，首先在公共领域推行数据治国的理念，要认识到，在大数据时代，公共决策最重要的依据将是系统的数据，而不是个人经验和长官意志，过去深入群众、实地考察的工作方法尽管仍然有效，但对决策而言，系统采集的数据、科学分析的结果更为重要。政府应加大数据治国的舆论宣传，将数据的知识纳入公务员的常规培训体系，力争在全社会形成“用数据来说话、用数据来管理、用数据来决策、用数据来创新”的文化氛围和时代特点。 　　最后是要围绕个人数据安全，逐步加强隐私立法。任何技术都是双刃剑，大数据也不例外。如何在推动数据开放的同时有效地保护公民隐私，将是大数据时代的一个重大挑战。 　　新年刚刚拉开序幕，希望中国政府相关部门尽快制定与大数据相关的政策，出台具体的措施，从而抓住历史的机遇、推动中国社会的发展和进步。 　　2013年，应该成为中国的大数据年。 　　…… 　　前言/序言 　　序言一 大数据：为华文世界提出一个重要话题许倬云 　　涂子沛先生的新著《大数据》，已经完成，是一部300多页的大作。最近他将这本书的打样稿送来给我看，并且要求我作序文。可惜的是，我将要远行，而他索序甚急，我只能在浏览一遍之后，发抒自己一些感想。至于细细咀嚼和消化这本有趣作品的内容，必须要在一两个月以后，也就赶不上涂先生大作的出版时间。我事先声明，这些只是我浏览他大作以后的一些感想，非常立即的直觉，也一时谈不上深刻的见解。 　　这本书的内容，强调今天是一个大量数据公开于大众的时代。自从资讯革命以来，资讯工具、硬件、软件，平行发展、与时俱进。数据在我们生活之中，日常接触，已是处处可见的现象。收集数据，当然是靠电脑的快速分类和记录，然而更重要的是搜索引擎的进步，与网络之间网际的交流。到今天，一个一个网，不但可以串连在一起，互相沟通，而且“云端”（云计算）的设计，可以将每一个地区个别数据，储成一个大的数据库，有助于我们更迅速广泛地搜索。 　　这些现象，20世纪最后四分之一以来，已经呈现加速度发展的新事物，在21世纪进展速度之快，更是铺天盖地、无所不在。涂先生在这本书里强调：不仅数据经过管理而大量地存在，而且，在现代的国家，尤其是民主社会，开放的社会与政府之间，经由数据，彼此一目了然、无所隐瞒。一个自由的社会，掌握公权力的政府，跟任何其他政府一样，有压倒社会的庞大力量，因为他们手上掌握了人生需要的许多数据。不过，这些数据，在自由的社会，公民也可以一样取得，使政府所作所为，可以摊开在天地之间，让我们检验。过去封建专制和集权各种政体，其执政者能压迫老百姓，而老百姓没有办法回制公权力的压迫。涂先生特别标榜，美国奥巴马接任以后，尽力将数据开放于大众，固然奥巴马是一个有开放心胸的政治人物，如此将政府掌握的数据，大量地开放于群众，也是拜时代之赐，有如此的机缘，才能将数据公开。 　　涂先生引用胡适之先生与黄仁宇先生的话。胡先生说中国人习惯于“差不多先生”，凡事马马虎虎、不求精确。黄仁宇先生认为，中国不懂得用数字来管理国家。涂先生引用这两位先生的名言，当然是要彰显传统中国和今天美国之间的巨大差异。不过我必须有所说明：胡先生和黄先生的话语，都是“爱之深而责之切”的心态，他们身经当时中国的混乱，激愤而出此感言。 　　从历史上看看，不论中国和西方，任何国家发展到可以有一个复杂文官系统管理以后，没有不依照数据来治国的。人口、资源、土地、财产种种的统计数字，在中国历史上，自从战国时代形成列国的国家体制以后，没有一个朝代不具有一定的数据库；只是以今天的标准来讲，粗糙和细密之间，古今有很多的差别而已。以汉代为例，汉简所显示的家户统计，每一户中的人口，男女老小，以及拥有的资产数目字，都详细统计，而且不论是居延边塞，或是荆州内郡，格式一致。汉简各种家户统计，与唐代西域州府的记录对比，其内容格式也是相当一致。这种基本的数据，在列朝的会典中，都见到其大概。当然，各个朝代的数据，有做得好的，也有做得差的。大致讲起来，外族侵犯中国建立的朝代，以武装力量强制建立政权，也往往依靠暴力的掠夺，取得他们所需要的资源。一个上轨道的朝代，其数据还是相当完整。 　　再看西方历史。希腊时代，我们了解的资料不够。罗马帝国时代，全帝国包含各种不同的政治单位，并没有一个大一统的文官政府；因此，全国性的资料库似乎不存在。等到中古黑暗时期，国不成国，地方不过是大小封建领主占有领土而已，他们并没有建立详细的资料库。近代以来，列国各自组成完整的主权国家，这些数据也纷纷出现了。 　　这是以历史上政权掌握数字而言。一家大型的企业，例如，中国清代的票号，如果他们手上没有复杂的数据库，就不能进行汇兑、放款、存款等等活动。英国的东印度公司，手上握有丰富的资源，他们也不能不具有一个相当完整的数据库，否则无以经营这么复杂的开拓业务。 　　今天的数据时代，我已经在前面提过，不仅公司单位都有搜集数据的能力，而且更重要的，有搜寻引擎可以将资料迅速检索，从其中归纳出条理，有助于了解情况。举一个例说，最近我们才看到，数据资料显示，美国百分之一的人口，拥有全国财富百分之四十以上，百分之九十九的人口，拥有全国财富才过半而已。对于许多长期习惯于美国是开放社会的一般人民，这一组数据显示的现象，几乎可说是理想的破灭，使大家必须检讨：美国真是如此开放吗？还是相对地在逐渐关闭？是不是财富与权力，已经逐渐集中到社会顶端一小撮的人手中？他们以财富作为魔法师的指挥棒，安排了我们的生活、决定了我们的未来。这种现象能够暴露于众，当然就因为在美国究竟资讯是公开的。 　　相对而言，在极权的国家，他们手上拥有足够的资讯，足以利用这资讯，掌握每一个人的日常生活；“老大哥”的影子，可以无所不在。资讯时代，对于极权的掌权者，他们拥有无可比拟的强大工具，甚至于比坦克车和催泪弹更为有效。资讯管理、资讯控制，是无影无踪，又是无所不在。说到这里，我们不能不更多警惕。 　　作为一个史学工作者，看惯了世间的灾难和创伤，不能不提出警告：这个中性工具，也只有在了解到资讯工具阴暗面——双刃剑的特性，在权势独占这一工具时，可能出现的危险。有此认识，我们才能善于利用这了不起的工具，开创更好的未来，也防治不虞的灾害。 　　涂先生这部书，清楚地叙述了资讯时代对我们生活的影响与社会的控御力。他讨论的范围方方面面、极为广泛。我盼望有了这本书作为起头，还有很多对资讯工具有研究、也有心得的人，参加讨论，让我们更清楚地了解，这个21世纪正在坐长的新的知识工具。为此，我们要对涂先生致敬与致谢，因为他为华文世界提出一个重要的话题。 　　2012年4月8日于匹兹堡 　　序言二 中国的雄心应该拓展到大数据领域 　　托马斯·H·达文波特 　　无论是对中国政府，还是就中国的商业组织而言，《大数据》都是一本重要的书。大数据及其分析，将会在未来10年改变几乎每一个行业的业务功能。任何一个组织，如果早一点着手大数据的工作，都可以获得明显的竞争优势，正如早期在“小数据”时代脱颖而出的竞争者一样，如第一资本金融公司、前进保险公司、万豪酒店等等。时光荏苒，现在到了抓住大数据机遇的时候了。 　　大数据之所以产生，是因为今天无处不在的传感器和微处理器。我们正在迈进普适计算的时代。其实，所有的机械或电子设备都可以留下数据痕迹，这些痕迹表明了它的性能、位置或状态。这些设备和使用它的人，通过互联网互相交流，又形成了另外一个庞大的数据源。当这些数据和来自其他媒体、无线或有线电话、有线电视、卫星等等来源的数据相结合的时候，更加显得庞大无比。 　　这些数据可以被使用，这意味着我们可以把所有的商业或组织活动都视为大数据的问题。如今的制造业，大多数机器上都已经安装有一个或多个微处理器，已经进入了大数据的状态。消费营销行业，无数顾客的交易触点和网上点击的流量，也成了大数据的问题。谷歌甚至认为其无人驾驶汽车也是一个大数据的问题。 　　世界各国的政府也开始认识到，他们坐拥海量数据，这些数据都有待分析。在亚洲国家的政府，也出现了大数据战略以及基于数据分析的方案和倡议。去年，新加坡成立了德勤数据分析研究所（DAI），这个新的机构是由新加坡政府经济发展委员会资助成立的。德勤数据分析研究所的目标，就是引领政府和企业对于数据的研究和应用。新加坡政府还资助了几所大学开展大数据和数据分析的研究活动。 　　任何一个组织，要抓住大数据的机遇，就必须做好几个方面的工作。从技术角度来看，首先要收集并且开发特定的工具，来管理大规模并行服务器产生的结构化和非结构化数据，这些数据，可能是自己专有的，也可能来源于“云”。其次，每一个组织都需要选定分析软件，用它来挖掘数据的意义。但可能最重要的是，任何组织都需要人才来管理和分析大数据。这些人被称为“数据科学家”，他们集黑客和定量分析员的优势和特长于一身，非常短缺。聪明的领导人，将想方设法留住这类人才。 　　不少公司都意识到了这种难得的机遇，现在已经采取了行动。例如，通用电气将投资15亿美元在旧金山湾区建立一个全球软件和分析中心，作为其全球研发机构的一部分。这个中心拟雇用至少400名数据科学家，现在已经有180名各就其位了。通用电气在全球拥有超过1万名工程师从事软件开发和数据分析工作，通过共同的分析平台、训练、领导力培训以及创新，他们的努力得以协调合作。通用电气对于大数据的研究活动，相当一部分集中在工业产品上，例如机车、涡轮机、喷气发动机以及大型能源发电设施。 　　对任何一个试图通过大数据获得成功的组织来说，通用电气的投资规模和雄心都是一个榜样。在很多领域，中国政府和中国的企业都有雄心勃勃的计划，这引起了全世界的关注，这些雄心和计划，现在应该拓展到大数据的领域。涂子沛先生的这本书，将在这个重要的领域，为中国政府和企业的努力提供引导和帮助。 【下载地址隐藏】：                    点：回复可见地址 游客，如果您要查看本帖隐藏内容请回复