互联网大数据最解析

互联网与大数据

概括

大数据，既是“因为小所以大”，也是“因为大所以小”。因为小所以大,是大数据的“有”。因为互联网上有很细节、很海量的数据，在互联网的社会环境下可以通过技术方法在经济可承受的前提下把数据找回来。而因为大所以小,是大数据的“用\"。由于有了丰富的数据，各类互联网媒体、服务才可以针对某一个特定用户,给他提供更精准的服务，将传统的“一对多灌输式的广告”变为“个性化推荐”。大数据由后台走向前台

其实,我们一直生活在数据的世界里，但以往受限于技术，主要应用抽样、局部、片面的数据，或者在不能获得实证数据的时候依赖经验、理论、假设等去发现未知领域的规律。而现在，互联网推动了大数据由后台走向前台。

互联网时代最大的意义在于可以做全流量的监测.随着各类社会行为迅速向互联网迁移，物联网、云计算、移动互联网、车联网、手机、平板电脑以及遍布各个角落的各种各样的传感器,使互联网承载远超以往的数据量。从以往数据研究的样本规模看，一般消费者调研采用样本量在400左右,大型消费者调研约有1,000样本，第三方独立机构消费者调研规模在80，000样本以上，中大型网站自有数据可达10，000,000级网络行为。而作为第三方数据机构，缔元信的DDMP平台平均每天跨网采集2亿网民、30亿条网民行为数据.面对互联网的海量信息，数据的作用将远远超出以往。大数据具有导航仪的功用.对于营销者来说,目标受众、目标客户是“谁”已经不重要，重要的是TA的偏好特征和传播相关信息的时机—-根据数据判断TA在什么时候需要什么。因此，基于抽样调查+人口学特征的“小样本模式\"不再具有指航性.我们也经常把大数据比喻成显微镜，因为大数据提供了从更细的颗粒度层面认知世界的可能和条件.大数据时代之前，我们只能依据小样本或适度抽样后的小数据进行群体规律的知识发现。而真正的大数据，让人类第一次有机会把来自不同地方、不同类型的数据联结起来形成对一个事物的完整描述,就像显微镜一样从更细的颗粒度层面认知世界。亚马逊CTOWernerVogels则将大数据喻为“纠错器”：“长期以来,亚马逊一直通过大数据分析，尝试定位客户和和获取客户反馈.在此过程中，你会发现数据越大，结果越好。为什么有的企业在商业上不断犯错？那是因为他们没有足够的数据对运营和决策提供支持。一旦进入大数据的世界，企业的手中将握有无限可能。”互联网时代,大数据还是发动机。互联网不再只是媒体，更是用户不断转化的平台。相应的，营销由独立转为系统性工程，而数据在营销全程中扮演的角色也必然要由参考工具转向驱动发动机。数据驱动的精准营销引擎，将颠覆传统的营销决策模式及营销执行过程，给网络营销行业乃至互联网及传统行业带来革命性的冲击。其实，我们已看到，网络营销的大数据应用正在加速前进.虽然以大数据支撑的RTB（RealTimeBidding，实时竞价）还在起步阶段，垄断媒体形成卖方市场、广告主决策过程并非百分百取决于业务层面价值仍对RTB形成阻力,但RTB应用越来越成熟，越来越成规模，百度、阿里等也都推出了自己的RTB平台,都足以让我们相信，RTB一定会成为未来网络广告的主流。而国内的互联网行业,特别是腾讯、阿里、百度等领头企业更在其他业务层面搜集、挖掘数据，进行大数据应用的准备和尝试,更使大数据向网络广告之外的领域渗透.随着大数据时代的来临，抽样调查的主导地位将会被全样本调查所取代，并被逐渐边缘化.我们将有更高的机率准确认识、预测我们想要了解的事物，大至奥巴马竞选、奥斯卡奖项，小到客户的购买倾向、网络营销，海量的大数据中隐藏着我们想要知道的一切。但是，伴随着方法的变革,我们的理念、思维方式、营销方法论势必也要进行变革,这也是一种巨大的挑战。

典型事例

1。大数据与互联网商业:淘宝数据王国的构建

2008年，一个庞大的“大淘宝战略\"伴随着阿里妈妈并入淘宝网而正式启动。在这个强调平台化、开放式的“大淘宝”战略中，淘宝所要打造的是一个容纳更多行业在内、层次更为丰富而全面的生态系统。

这其中，既包括了被喻为电子商务“水、电、媒”的支付、信用和物流环节，也将线上线下、纸媒电视等多种与消费者接触的渠道囊括在内。而作为平台将它们串联在一起的淘宝，不仅将以这种方式为越来越多不同规模层次的淘宝卖家提供从营销推广到销售配送的多种选择和整体方案，也将打通这些传统行业中固有的价值传递链条，实现参与各方价值的最大化。同时，淘宝这个单纯的交易平台也将在无形中升级为承载整个“生态圈”的基础服务提供商. 而这一切的基础，就是大数据:在成为开放平台与服务提供商，面向全球开放数据、打造全新盈利模式的过程当中,淘宝利用大数据改变了电商的运作模式，并充分利用自身平台的这些海量数据构建起一个大数据王国. 大数据王国的建构基础：海量数据的采集与存储

根据淘宝网的数据显示，至2011年底,淘宝网最高单日独立用户访问量超过1.2亿人，比2010年同期增长120%，注册用户数量超过4亿，在线商品数量达到8亿，页面浏览量达到20亿规模，淘宝每天产生4亿条产品讯息,每天活跃数据量已经超过50TB……

大量搜索、浏览、收藏、交易、评价等来自买方、卖方以及网页自身的数据造就了淘宝的海量数据库，这是淘宝打造数据平台与产品，自主研发其海量数据库Ocean Base并逐渐转型为数据服务商的重要基础. 以交易为核心的海量数据

淘宝网的数据以及流量产生的核心是围绕着买卖双方的交易展开的，以此向外扩展,衍生出海量的相关数据与信息。同时，也正因为这些数据、信息都与交易相关,因此也形成了极具商业价值的数据信息，为淘宝转型为电商“生态圈”的基础服务提供商、数据服务商进行数据开发与销售奠定了基础。 通过对用户网上消费行为的全流程追踪，我们大致可以看出淘宝数据的各种产生来源与过程.这些数据的产生从大范围上可以划分为三种。第一种是来自淘宝网外部的数据,主要包括相关的广告点击、搜索引擎的搜索数据、SNS上的推荐与链接、关联软件的操作与推荐。第二种是直接访问带来的相关数据，包括浏览器访问、软件访问等。第三种也是最大的数据来源，即淘宝网站内部的数据产生，这些数据的产生与买卖双方的交易密不可分，同时也围绕着这种交易产生了相关的信息与数据,包括内部搜索、站内SNS社区、页面浏览与点击、会员及用户相关页面、购买与交易数据、后台管理数据以及即时通讯数据信息等.

通过对这些数据的存储、运算、管理以及分析，除了用以优化自身的界面、服务、管理和产品之外，淘宝还可以对外提供至少三类具备极大商业价值的数据与信息。第一类是针对消费者,方便其购物与消费的数据信息，包括各类商品及店铺信息、促销信息等；第二类是针对店铺以及卖方,可有效提升其店铺管理及商品销售效果的数据信息,包括消费者的消费行为、网络使用行为、媒体接触及使用行为，市场发展及行业竞争数据与信息等；第三类是可以提供给社会及第三方机构帮助其了解电商企业以及淘宝相关的数据集信息,包括销售数据、购买数据、交易数据、消费者行为数据等。 自建云存储系统OceanBase

对于淘宝来说，其数据的产生绝大部分来自与卖家与买家，在这其中商品、交易、

订单、购物爱好等等是最为核心的数据，这些数据通常是结构化的，并且数据之间存在各种各样的关联。传统的关系数据库曾经是这些数据的最佳载体，然而，随着淘宝业务的快速发展，这些数据急剧膨胀,记录数从几千万条增加到数十亿条，数据量从百GB增加到数TB，未来还可能增加到数千亿条和数百TB，传统的关系型数据库已经无法承担如此海量的数据.

Ocean Base作为淘宝研发的云存储系统,自2010年研发以来，其目的就是解决不断增加的结构化数据存储与查询的问题，从而适应全新的数据量级及存储、运算要求。最初,Ocean Base应用于淘宝收藏夹，用于存储淘宝用户收藏条目和具体的商品、店铺信息，每天支持4千万～5千万的更新操作.等待上线的应用还包括CTU、SNS等,每天更新超过20亿条，更新数据量超过2。5TB，并逐步在淘宝内部推广。

对于淘宝来说，Ocean Base云系统是其对各类数据信息进行处理、管理和分析的重要工具，也是大数据王国建立的一个重要支撑。 数据王国的构建方法：从数据信息到数据产品 如果仅仅有这些海量数据，对这些数据进行了存储和管理，用以优化自身的网页设计、用户体验等，这样略显初级化的数据挖掘还离大数据王国相去甚远。只有掌握了这些数据的运用方法，将其商业价值做到最大化的开发，针对不同群体提供不同服务,才能够满足淘宝网“大淘宝战略”的种种构想,实现其从“单纯的交易平台到‘生态圈'基础服务提供商”角色的转变，完成其由平台销售向数据销售的盈利模式转变的目标。 通过对多源数据的采集以及对这些数据进行的分类存储、管理与分析,淘宝完成了从数据信息到数据产品的转换过程，形成了针对不同使用群体的多项数据产品。 专业的数据产品化团队与多样化的数据产品

淘宝的技术平台部建立了淘宝数据产品化团队，根据团队中具体职能的不同又划分为产品研发、实时计算、数据开发、数据挖掘、数据中间层、UED、可视化实验室等.淘宝数据产品化团队在淘宝网海量数据库与大数据处理技术的基础之上进行专业的海量数据挖掘，并形成了面向进驻商家的多项数据产品。 目前，在淘宝的卖家服务平台上，基于淘宝数据所提供的营销运营类产品主要分为营销推广与数据分析两大类。其中，营销推广主要包括会员营销、促销工具、互动营销、店铺推广和导购展示,数据分析工具主要包括需求挖掘、订单分析、买家分析、售后服务与运营支撑分析、供应链分析、商品优化分析、营销效果分析以及店铺基础运营分析等，同时也向卖家提供专业的数据解读与分析报告服务.

其中,通过目前最为重要的数据产品:“数据魔方”平台，商家可以直接获取行业宏观情况、自己品牌的市场状况、消费者行为情况等非隐私性数据. 淘宝开放平台与第三方数据产品

一方面，利用大数据平台,淘宝已经成功地将数据魔方、量子统计、好店铺、小艾分析等数据分析软件产品的使用可能给予了淘宝网的卖家,然而数据价值的挖掘还存在极大的空间；另一方面,针对淘宝超过4亿的注册用户的买方数据产品目前还非常稀少,所以，为了更加高效、迅速地满足高速发展中的电子商务产业链上的数据需求，从而提升整个电子商务产业的发展，开放平台的建设成为了“大淘宝”战略当中一项非常重要的内容.

2008年6月，淘宝网宣布开放API接口。通俗地说，就是任何第三方开发者都可以通过API接口访问淘宝网数据，提供可以“安装”在网络页面上的应用。比如，淘宝商城中产品图片变化的技术就是名为“闪光店铺”的产品,这不是淘宝的技术人员的创造，而是微软发明的Silverlight技术。淘宝开放API，惠及的不仅是微软这样的大公司，大量的ISV开发者（独立软件开发商，可以是公司或个人)针对淘宝上卖家的需求设计

出诸多应用，已经形成了一条完整的产业链条。

之后，淘宝开放平台（TaobaoOpenPlatform，简称TOP)逐渐形成规模，成为面向第三方应用开发者,提供API接口和相关开发环境的开放平台。软件开发者可通过淘宝API来获取淘宝用户信息（买方和卖方用户信息，私有信息需要授权）、淘宝商品信息（全淘宝超过1亿个商品的名称、类目、型号、介绍等信息)、淘宝商品类目信息（全淘宝商品索引及分类明细）、淘宝店铺信息（全淘宝店铺信息）、淘宝交易明细信息（在取得用户授权的情况下，查询每笔交易的详细情况）、淘宝商品管理（淘宝商品的上传、编辑、修改等接口)等信息，并建立相应的电子商务应用.同时，作为淘宝开放平台TOP项目的唯一合作平台-—阿里软件平台在其中也扮演着重要的角色，它将为开发者提供整套的淘宝API的附加服务：测试环境、技术咨询、产品上架、版本管理、收费策略、市场销售、产品评估等。

在这样的背景之下,2010年3月30日，淘宝网在上海正式对外宣布,将面向全球开放数据，商家、企业及消费者将在未来分享到其海量原始数据。这些淘宝数据将分为三个层面进行开放：其一，涉及电子商务行业的宏观数据，以及让消费者了解最新消费风向标的数据,淘宝将实行免费开放策略；其二，涉及各个行业市场情况、消费者行为研究等商业数据，淘宝将通过商业方式开放；其三，涉及消费者个人隐私、企业商业隐私数据，淘宝绝对保护，防止任何泄漏.通过淘宝开放数据平台，第三方机构可以通过对这些数据的挖掘与分析，针对不同的需求群体提供打造不同的数据产品与工具，满足各类群体对于淘宝数据产品工具的需求。

与其他拥有庞大流量与海量数据的网络巨无霸相同的是，淘宝正利用大数据改变着自身，改变着所在行业的产业链，改变着整个市场格局;然而与其他网络巨头不同的是，淘宝的开放平台让更多的角色与力量参与到这个大数据王国的构建当中,给予了所在行业更加开放的环境与氛围，因而也在更大程度上改变了电商行业的产业链与市场格局，更加迅速地建立起了自身的大数据王国。

从2003年建立之初到现在，淘宝走过了将近十年的发展历程，从商业数据上来看，亚马逊的财报显示2011年其完成了大约480亿美金的交易额，EBAY的2011年财报则表明其完成了大约600亿美金的交易额（不包括其独立的汽车交易平台），淘宝正在从交易额、商品数量、同比增速等指标上赶超这些海外电商巨鳄.在迅速发展与变身转型的过程中，淘宝的数据王国功不可没。 2.大数据下的新型互联网社交网站

——“美丽说”大型女性时尚社交网站

近年，随着电子商务的飞跃式发展，网上购物成为了年轻一代的主流消费习惯。淘宝、拍拍、当当、京东、凡客这些大型网上商城，为人们提供了琳琅满目、应有尽有的商品选择，可以说，几乎现实生活中的所有物品或是服务，下至大葱、蒜头，上至汽车、房子，甚至是空气、土壤,你都能在网上买到。而每一样商品又有数以千计的品类，哪样商品好，又该如何选择，这些传统的电子商务无法解决用户“买什么”的困扰。 作为消费领域的主流,一场电子商务的革命首先在女性时尚消费中掀起。据不完全数据统计，社交网站活跃用户70％都是女性,可以说,女性是互联网主体.她们拥有强烈的美丽需求和冲动，却没有网站可以很好地满足她们.这时美丽说诞生了，这个以分享、交流购物为主题的大型女性时尚社交网站,每个用户在接受资讯的同时,也是时尚资讯的发布者。用户可以通过网站上被广为收藏的商品，发现潮流的趋势。而从另一方面看，这也是一种口碑营销，女性不再为“买什么\"而困扰，因为美丽说的姐妹们给出了建议。 创造分享交流的购物乐趣 美丽说的口号叫：“你可以在美丽说收藏、发现、分享你的美丽点滴\"。女人的天性

是通过分享能得到一种别人的赞美跟肯定，这是最大的分享动力，而前提是要在网络上展示出“人”的形象。

以往，你在传统门户中得到的大都是关于时尚的资讯，一堆堆的网页，根本没有人关心发布帖子的人是谁。而在美丽说，网友可以从分享中得知关注的人的穿衣风格，可以寻找和自己风格相近的人，美丽说的达人模式也非常贴合草根阶层,女孩子都希望自己成为众人关注的焦点,特别是在网络上，如果被人置顶为草根达人，那么该会员的积极性被极大的带动了，也会发动身边的朋友积极加入该平台,一起分享快乐。 网友互动中发掘潮流

从时尚的角度出发，传统时尚媒体往往为品牌服务，信息推送至上而下.而美丽说通过网友们的网站分享，利用数据统计出女孩子的穿衣风格和规律，把符合她风格的东西从上亿商品中筛选出来，把最好的拿给用户，提供风格建议，同时引导时尚消费。
 口碑效应的便捷式购物

美丽说网站的商品图片、价格等信息来自于淘宝和凡客等电子商务平台。例如，网友在淘宝发现“宝贝”，可以将这件“宝贝”的网址复制到美丽说发布,美丽说将自动抓取商品的价格、图片、风格关键字等信息.而有用户在美丽说发现这件“宝贝”，发现好多人在买这个，她将通过美丽说直达来源网站购买，整个过程非常便捷。 “美丽说”开启社会化电子商务新时代据了解，目前美丽说已拥有600w会员资源，而这个数字还在以不可思议的数字递增，其发展态势可谓迅猛。美丽说成为了在中国最具代表性的社会化电子商务。在它之后，“爱物网\"、“蘑菇街\"、“超有feel”、“妈妈说”、“血拼吧”、“爱逛街\"等社区化分享购物网站也相继火了起来，成为了社交化购物的推动者，我们也可以在其中窥见出这块市场的丰厚-—未来的社会化电子商务将不仅仅局限于女性市场消费，它还将向各个不同的领域渗透，或是在每个领域都进行更精细的层次划分。总的来说,谁能将用户体验做到极致，谁就能在这块蛋糕上分一杯羹。可以得知，没有大数据的支撑就没有大型时尚社交网络，由此也可以预见，未来的互联网离不开大数据的支撑.

3.大数据支撑互联网网购“双11”配送未爆仓 双11”至今已有一周时间，但对于快递企业而言,派件的高峰期还有几天才能过去，但目前并未出现往年必现的“爆仓\".在业内人士看来,除了各大快递公司百亿元规模备战“双11\"外，今年业界对大数据的应用起了决定性作用.

国家邮政局日前发布的监测信息显示，今年“双11”当日所有电商产生的订单快递包裹约1。8亿件，预计电商企业全天交易总额超过400亿元.各电商平台订单产生的快件约70%已经发运，并陆续进入快递服务环节,已经完成投递并签收的比例为55％.除今年“双11”完美首秀的菜鸟网络外,国家交通运输部也正在努力推进建设“国家交通运输物流公共信息平台\"，相关资料显示，目前已有1万余家企业通过该平台交换数据超过5.5亿条，在信息交换、降低物流成本、节能减排等方面发挥了作用。