２０１４年１月１日 总第２６９期 研究 “大 数据＂研究综述 刘维贵 （铁道警察学院 郑州摘４５００５３） 要 大数据是当下即云计算之后大热的词汇。本文通过介绍大数据的由来、含义与特点，追溯中国学者研究大数据的文献始 末。以文献图表统计的方式阐述大数据研究文献的发表情况与研究现状，并对２０１３年作为大数据“元年”进行解读。最后，从学界、 商界、政府以及社会个体四个角度展望大数据研究的未来发展趋势。 关键词大数据 文献综述 大趋势 文献标识码Ａ 文章编号１３１２１８－６６１９ 中图分类号ＴＰ３０１ Ｒｅｖｉｅｗｓ ｔｏ ｔｈｅ Ｒｅｓｅａｒｃｈ ｏｎ“Ｂｉｇ Ｄａｔａ“ Ｌｉｕ Ｗｅｉｇｕｉ （Ｒａｉｌｗａｙ Ｐｏｌｉｃｅ Ｃｏ￣ｅｇｅ Ｚｈｅｎｇｚｈｏｕ ４５００５３） Ａｂｓｔｒａｃｔ Ｂｉｇ ｄａｔａ ｉｓ ａ ｔｏｐ ｈｏｔ ｖｏｃａｂｕｌａｒｙ ａｆｔｅｒ ｔｈｅ ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ａｔ ｔｈｅ ｎｌｏｎｌｅｎｔ Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｔｈｒｏｕｇｈ ｔｈｅ ｉｎｔｒｏｄｕｅ— ｔｉｏｎ ｔｏ ｔｈｅ ｏｒｉｇｉｎ，ｍｅａｎｉｎｇ ａｎｄ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｂｉｇ ｄａｔａ，ｔｏ ｔｒａｃｅ ｔｈｅ ｌｉｔｅｒａｔｕｒｅ ｏｆ Ｃｈｉｎｅｓｅ ｓｃｈｏｌａｒｓ ｓｔｕｄｙ ｏｎ ｔｈｅ ｂｉｇ ｄａｔａ ｒｏｍ ｔｈｅ ｂｅｇｉｆｎｎｉｎｇ ｔｏ ｔｈｅ ｅｎｄ Ｏｎ ｂｉｇ ｄａｔａ ｉｎ ｔｈｅ ｆｏｒｍ ｏｆ ｌｉｔｅｒａｔｕｒｅ ｃｈａｒｔ ｓｔａｔｉｓｔｉｃａｌ ｒｅｓｅａｒｃｈ ｌｉｔｅｒａｔｕｒｅ ｅｘｐｏｕｎｄｅｄ ｔｈｅ ｓｉｔｕ— ａｔｉｏｎ ａｎｄ ｓｔｕｄｙ ｎｆｔｈｅ ｓｔａｔｕｓ ｑｕｏ．ａｎｄ ａｓ”ｔｈｅｆｉｒｓｔ ｙｅａｒ”ｂｉｇ ｄａｔａｉｎｔｅｒｐｒｅｔａｔｉｏｎｉｎ ２０１３ Ｆｉｎａｌｌｙ．ｔｈｅｆｏｕｒ ｐｒｏｓｐｅｃｔｓ ｏｕｔ— ｌｏｏｋ ｆｒｏｍ ｔｈｅ ａｃａｄｅｍｉｃ，ｂｕｓｉｎｅｓｓ，ｇｏｖｅｒｎｎｌｅｎｔｓ ａｎｄ ｓｏｃｉａｌ ｉｎｄｉｖｉｄｕａｌｓ ｔｏ ｔｈｅ ｆｕｔｕｒｅ ｔｒｅｎｄ ｏｆ ｓｔｕｄｙ ｏｎ ｂｉｇ ｄａｔａ Ｋｅｙｗｏｒｄｓ Ｂｉｇ ｄａｔａ Ｌｉｔｅｒａｔｕｒｅ ｒｅｖｉｅｗ Ｍａｉｎ ｔｒｅｎｄ 人在“云”中绕，数据“雨”来临。人们在为云计算投入 电视、卫星等等来源的数据相结合的时候，更加显得庞大 极大的热情的时候，“云”中开始下起了“大数据”的雨。渴 无比。 望创新的人们又为“大数据”欣喜若狂了。有媒体将２０１３年 称之为“大数据元年”，宣称“大数据时代”的到来。我们的 研究就从“元年”开始，去追寻“大数据”的历史足迹。 一一２、大数据的含义 大数据是指那些大小已经超出了传统意义上的尺度， 般的软件工具难以捕捉、存储、管理和分析的数据。但 、大数据 １、大数据的由来 是，究竞多大的数据才能称为“大”，并没有普遍适用的定 义。一般认为，大数据的数量级应该是“ＰＢ”级（拍字节， 大数据具有量词的含义，代表海量数据或海海量的数 ２５０）的。而麦肯锡全球研究所认为，我们并不需要给“什么 据。大数据之所以产生，正如美国咨询大师托马斯・Ｈ・达文 是大”定出一个具体的“尺寸”，因为随着技术的进步，这个 波特所言，是因为今天无处不在的传感器和微处理器，比 尺寸本身还在不断地增长。此外，对于各个不同的领域，如物联网、云计算、移动互联网、车联网、手机、平板电脑、 “大”的定义也是不同的，无需统一。 Ｐｃ以及遍布地球各个角落的各种各样的传感器，无一不是 大数据之“大”并不仅仅在于其“容量之大”，而且还在 数据来源或者承载的方式。我们正在迈进普适计算的时 于数据的收集、保存、维护以及共享等等极具挑战性的任 代。其实，所有的机器或电子设备都可以留下数据痕迹，这 务赋予大数据之“大”更多的意义：人类可以分析和使用的 些痕迹记录了它的特征、位置或状态。这些设备和使用它 数据在大量增加，通过这些数据的交换、整合和分析，人类 的人们，通过网络之间交流，又形成了另外一个庞大的数 可以发现新的知识，创造新的价值，带来“大知识”、“大科 据源。当这些数据和来自其他媒体、无线或有线电话、有线 技”、“大利润”和“大发展”。 办公自动化杂志‘２７ 研究 ２０１ ４年１月１日 总第２６９期 丑■Ｒｅｓｅａｒｃｈ ３、大数据的特点 业界人士将大数据的特点概括为４个“Ｖ”（Ｖｏｌｕｍｅ， 生 表１“大数据”研究文献数量年份分布表 Ｖｅｌｏｃｉｔｙ，Ｖａｒｉｅｔｙ，Ｖｅｒａｃｉｔｙ），或者说特点有四个层面：第一，数 份 据体量巨大。从ＴＢ级（太字节，２４０）跃升到ＰＢ级（拍字节， ２５０，１ＰＢ相当于５０％的全美国图书馆藏书量）；第二，数据 类型繁多，囊括网络日志、视频、图片、地理位置信息等等； 第三，价值密度低，而商用价值高。大数据多为非结构化和 篇 数 笠 份 半结构化的数据，用于分析时会花费过多时间和金钱，以 视频为例，连续不问断监控过程中，可能有用的数据仅仅 有一两秒；第四，处理速度快。大数据的处理是与云计 算、“分布式”技术的使用紧密相关，适用于秒级定律，一 般要求在秒级时间范围内给出分析结果，时间太长就失去 了价值。最后这一点也是和传统的数据挖掘技术有着本质 的不同。 二、大数据的文献研究综述 １、大数据研究文献的统计 国外有关于“大数据”的认识与研究要早于我国。早在 １９８０年，著名未来学家阿尔文・托夫勒便在《第三次浪潮》 一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐 章”。时至今日，以美、欧为首的发达国家在“大数据”研究 与应用方面又走在了世界的前列，甲骨文、ＩＢＭ、微软及沃 尔玛全球物联网络都在追逐大数据创造的商机。反观国 内，“大数据”的研究又从何时起步，相关研究成果有多 少，研究现状又如何？笔者以中国报纸期刊网络出版总库 为基本数据来源做了一次较为详尽的文献研究，研究结果 综述如下。 在笔者之前，韩芳芳、范群、韩青青联合发表了一篇论 文《我国大数据领域研究论文的计量分析》，她们从文献、 作者、关键词三个角度分析了我国大数据领域的相关文 献，得出了相关研究结论：“我国大数据研究基本呈平稳快 速发展状态，逐渐成为当前的研究热点；形成了较为稳定 的核心发文机构，却并未形成核心作者群，研究力量相对 分散且薄弱；研究主题主要以资源的管理与利用、信息服 务、关键技术为重点”。由于该文的研究视角与笔者尚有出 入，因而研究结果也大有不同。 以ＣＮＫＩ（中国知网）的中国报纸期刊网络出版总库为 数据源，检索策略为篇名＝“大数据”进行模糊检索，检索日 期为２０１３年６月１４日，共检出文献１７８９篇。按文献发表 时间统计，时间跨度２９年（１９８５～２０１３年），按年分布如下 （见表１）： ・２８‘办公自动化杂志 篇 数 在年份分布中，１９８１～１９８４年连续四年中未检索到相 关文献，因此笔者认为关于“大数据”的研究起步于１９８５ 年。从文献数量上看，逐年增加，１９９７年之后未曾中断研 究，尤以最近三年文献数量最多，有陡增之势。根据中国 知网学术趋势搜索“大数据”，可得到如下趋势（见图１与 图２）： 学术关拄度匹ｌｊ １ｒｍ ｆ－２轴 ●一●●● ●●● ● ● ●●●卜● ０ ｔｇ ７ １ ２００ｔ ２００３ ２口口５ ２ｎ０７ ２￣０９ ２ｒｔｌ１ ２０’３ 图１ “大数据”研究学术关注度 注：学术关注度是指同一个课题或者题目的期刊更新 数 用户关注度是指同一个课题或题目一定时间内被搜索 和浏览的次数 用户关注度‘：ｌ 一Ｊ ｌ／， ｌｆ￣Ｏ０ ＿ ● ● ７５００ ●● ● ● ● ●：● ◆ ● ０ ２０１２－５ ２０１２－７ ２０１２－９ ２０ｔ２・１１ ２０１３－１ ２０１３－３ ２０１３－５ 连： 表示标识点数值高于前后两点，且与前一数值点相比增长辜大于３０１（． 图２ “大数据”研究用户关注度 ２、大数据研究文献的时间溯源 寻找最早涉及现在意义上“大数据”研究的文献。在以 篇名＝“大数据”模糊检索中，包含“大数据”一词的文章很 ２０１４年１月１日 总第２６９期 研究 多，时间跨度又很大，那么今天所说的“大数据”是否与１０ 第三，从“大数据”现象的参与主体上看，理论研究者是 年前、２０年前的含义相同呢？如表１所示，１９８５年仅有一篇 最早的参与者，以论文、专著等形式讨论大数据问题，尾随 论文《利用磁盘实现大数据量二维快速付里叶变换的方 其后的是商业研究机构，开始掘金“大数据”，最后是媒体 法》谈及到“大数据”，但是我们从题名中可以看到它所言 连篇累牍的炒作与报道，尤其是最近两年，媒体新闻报道 的是“大数据量”，在其关键词中也没有将“大数据”独立提 占了“大数据”总检索量的一半以上。由此可见，“大数据” 出。以当时的社会条件还不可能形成针对于现在意义上的 来势之“凶猛”； “大数据”研究与应用，因此它不是最早关于“大数据”研究 的文献。 第四，从中国对“大数据”的研究与实践上看，２０１３年 中国政府采取了很多关于“大数据”的实践措施，比如从 在１９８５年之后的２０年间里，像这样的文献站了绝大 大数据的收集上看，５月４日中国社会科学院全国居民调 多数，“大数据”常常以“大数据量”、“大数据流”、“大数据 查网络成立与启动了“２０１３年中国社会状况综合调查项 群”、“大数据序列”、“超大数据体”、“大数据集”（２００２ 目”，旨在通过定期、系统地收集中国人与中国社会各个 年）、“大数据对象”（２００３年）、“大数据块”（２００３年）、“大 方面的数据，总结社会变迁的长期趋势，探讨具有重大理 数据中心”（２００４年）、“大数据字段”（２００６年）等多种形式 论和现实意义的社会议题，用准确的数据助力我国社会科 出现在在篇名与关键词中，而没有以“大数据”为独立词组 学的研究发展。在“大数据”的商业研究中，中商情报网发 同时出现在篇名与关键词中的文献。在此期间，也偶然在 布了（（２０１３－２０１７年中国大数据行业发展前景及投资策略分 “篇名”中出现了“大数据”字样，比如２００３年、２００５年出现 析报告》。 两则新闻报道，其中言及的是中国经济指标，用“大数据” 从以上几个角度来看，２０１３年的确可称之为大数据 来形容指标之大，另有一篇论文《大数据条件下自适应 “元年”。 Ｈｕｆｆｍａｎ算法潜在问题初探》，篇中出现“大数据”，关键词 中未有出现，正文中也未涉及“大数据”的正面研究，因此 也不是我们要寻找的最早文献。 三、大数据研究的四大趋势 如果说人们经常挂在嘴边的“数字时代”中的“数字”， 仅是形式上二进制０或１的话，那么“大数据”将这种“形 ２００７年一篇名为《基于Ｗｅｂ服务的大数据访问性能优 式”给予了充实的“内容”。正如哈佛大学社会学教授加 化研究》的论文在篇名与关键词中同时出现了“大数据”， 里・金所说：这是一场革命，庞大的数据资源使得各个领域 文中部分涉及“大数据”的研究，但是并不全面，无法从其 开始了量化进程，无论学术界、商界还是政府，所有领域都 研究中看到“大数据”本来的样子。同年，《中国商报》９月 将开始这种进程。笔者展望这一进程有如下几个大趋势： １４日第Ｃ０４版应用技术栏的一则“沃尔玛建立超大数据中 第一，从学界来说，最先研究大数据的是计算机科学、 心”的报道，从其正文内容上看，正式揭开了“大数据”实践 地质、遥感测绘、理化工程等学科领域，现在的研究趋势已 应用的面纱。 经波及社会科学领域，并逐渐形成了以大数据为中心的数 最近五年，中国才开始关于“大数据”的全方位研究与 据密集型学科，诸如政治学，科学、广告、体育、公共卫生等 实践，不论媒体报道还是理论研究，不论应用研究还是实 大量学科和领域都将在从大数据技术中获益； 践应用，从前文图１和图２中即可看出。 ３、大数据“元年” 第二，从商界来说，以前自然资源是经济，产品服务是 经济，技术标准是经济，知识信息是经济，那么现在我们不 有媒体将２０１３年称之为大数据“元年”，其言不无 得不说“数据也是经济”，数据可能成为未来最大的交易商 遭理。 品。市场经济的灵魂是竞争，信息时代的竞争不是劳动生 第一，从文献研究发表的数量上看，２０１３年上半年就 产率的竞争，而是知识生产率的竞争。数据，是信息的载 已经达到６７８篇，接近上一年的总量（见表１）； 体、是知识的源泉，当然也就可以创造价值和利润，可以预 第二，从“大数据”的关注度上看，最近十五年的学术 见，基于知识的竞争，将集中表现为基于数据的竞争，这种 关注度到２０１３年出现一个近乎９０度的“陡增”，而用户关 数据竞争，将成为经济发展的必然； 注度在最近一年尤其是２０１３年元月之后也出现了“陡增”。 （见图１、图２）； 第三，从政府治理来说，政府需要大数据治理。如果说 政府的权威曾经有“神”的赠予，有公民选举的“赋予”，那 办公自动化杂志‘２９ 研究 ２０１ ４年１月１日 总第２６９期 Ｒｅｓｅａｒｃｈ 么现在我们不得不说“政府的权威与公信力需要来自数据 改变政府、商业与我们的生活『Ｍ］桂林：广西师范大学出版 的保障”。大数据治理将政府管理的“粒度”推进到数据级， 社，２０１２年７月 帮助政府官员开启循“数”管理的新模式。这是由传统的 ［３］（美）阿尔文‘托夫勒黄明坚译第三次浪潮［Ｍ］北 “大政府”转向“大社会”的集中体现，恰如业界所说“三分 京：中信出版社，２００６年１月 技术，七分数据，得数据者得天下”。在未来的中国，也许决 ［４］韩芳芳、范群、韩青青我国大数据领域研究论文的 定政府执政能力的不仅是民主、智慧或是权威，而且还需 计量分析［Ｍ］图书馆学研究，２０１３年８期 要强大的“计算能力”； ［５］李京基、姜兰、徐碹利用磁盘实现大数据量二维快 第四，从社会个体角度来说，数据对个人生活的影响也 速付里叶变换的方法ｌ Ｊｌ物化探计算技术，１９８５年７月 非常广泛，人们可以用数据对自我进行量化——“自我量化 ［６］蒋刚、肖建大数据条件下自适应Ｈｕｆｉｉｎａｎ算法潜 管理”。自我量化是指利用计算机、智能手机以及各种新的 在问题初探ｌ Ｊｌ信息与电子工程》，２００５年３月 电子便携感应器来记录自己学习、工作、运动、休息、娱乐、 ［７］熊小华、王帅、宁爱兵基于Ｗｅｂ服务的大数据访问 饮食、心情等等个体行为的情况，就像我们需要对体重、身 性能优化研究ｌ Ｊｌ上海第－－Ｉ业大学学报，２００７年１２月 高、血压、血糖、心跳等物理指标进行监控一样。自我量化 ［８］马竞沃尔玛建立大数据中心［ 中国商报，２００７ 管理通过数据来记录、研究、分析自己的行为，而更好地了 年９月１４日第Ｃ０４版 解自我、提高自我。人的感觉往往存在盲点，直觉又不可完 ［９］中国社科院成立全国居民调查网络同时启动２０１３ 全信任，理性思维时常受到局限，大脑即便有惊人的记忆 年中国社会状况综合调查项目『ＥＢ／ＯＬ］ｈｔｔｐ，／ｗ～ｃｓｓｎ ｃｎ／８１ 力，也未必具有惊人的信息加工能力。很多时候，我们会高 ／８１００／２０１３０５／ｔ２０１３０５０８ ３３５９７２ ｓｈｔｌｎｌ（２０１３—５—０８登录） 估自己的理性，低估情绪对我们的影响。认识自己很艰难， ［１０］中商情报网２０１３－２０１７年中国大数据行业发展前 但非常重要。基于数据的记录和分析，可以帮组我们走出 景及投资策略分析报告『ＥＢ／ＯＬ］详见ｈ￣ｐ：／／ｗｗｗ ａｓｋｃｉ 错觉、认识真正的自己。 参考文献 ｃｏｉｎ／ｒｅｐｏｒｔｓ／２０１３０３／１５１０５５４３１９４６７１ ｓｈｔｌｎｌ（２０１３—６—１６登录ｊ ［１］孙晓立大数据：让“云”落地成“雨”ｌ Ｊｌ中国科技投 作者简介 资，２０１２年第ｚ２期 刘维贵男，辽宁沈阳人，档案学硕士，研究方向：档案 ［２］徐子沛大数据：正在到来的数据革命，以及它如何 学基础理论。 （上接第６４页） 真结果得到的带宽还要好，可能由于ｓＭＡ接口的接八及 设计技术２００５ １２，ＰＰ ２２－２５ 有限大的接地板等原因造成天线的回波损耗特性较仿真 特性差些。 ［２］党梅梅无线局域网的技术标准ｌ Ｊｌ当代通信 ２００３，１６：１９－２１ 五、结论 ２ ４ＧＨｚ频段上当回波损耗ｓ１１＜一１０ｄＢ时的带宽为２４ＭＨｚ， ［３］顾晓亮，郑恒瑞无线局域网技术标准的比较ｌ Ｊｌ中 ０４，６：６８－７２ 本文设计了一个开槽矩形微带贴片天线，天线在 国数据通信２０［４］Ｊａｎ Ｊ Ｙ，Ｗｏｎｇ Ｋ Ｌ Ａ Ｄｕａｌ—ｂａｎｄ Ｃｉｒｃｕｌｎｒｌｙ Ｐｏｌａｒｉｚｅｄ ｕａｒｅ Ｍｉｃｒｏ—ｓ ｐ Ａｎｔｅｎｎａ［Ｊ］Ｍｉｃｒｏｗａｖｅ Ｏｐ１ Ｔｅｃｈ Ｌｎｔｔ， 天线的辐射特性较好，在２ ３５—２ ４５ ＧＨｚ频段内辐射增益 Ｓｑ均大于０ｄＢｉ，而且在中心频率２ ４ ＧＨｚ处达到最大值 ２０００，２４：３５４—３５７ ６ｄＢｉ，通过仿真和实际制作测试，可见通过开槽的办法， ［５］吴迪，大石桥秀和，獭尾和之等新的双频双极化开 ２００３， Ｊｌ应用科学学报能明显改变贴片天线的性能，而且还能有效的缩小体积， 槽微带天线的设计方法［而且设计的天线在ＩＳＭ波段驻波比小于２，有一定的实用 价值。 参考文献 ２１．３３４－３３８ 作者简介 纪辛然（１９８５～），男，助教，主要研究方向为电磁场与微 ［１］张爱华，张爱平，李燕斌无线局域网技术［Ｊｌ邮电 波技术。３０‘办公自动化杂志