本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第1章，第1.2节，作者： 范东来 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。
在人们对云计算这个词汇耳熟能详之后，大数据这个词汇又在最短时间内进入大众视野。云计算对于普通人来说就像云一样，一直没有机会能够真正感受到，而大数据则更加实际，是确确实实能够改变人们生活的事物。Hadoop从某个方面来说，与大数据结合得更加紧密，它就是为大数据而生的。
“大数据”（big data），一个看似通俗直白、简单朴实的名词，却无疑成为了时下IT界最炙手可热的名词，在全球引领了新一轮数据技术革命的浪潮。通过2012年的蓄势待发，2013年被称为世界大数据元年，标志着世界正式步入了大数据时代。
现在来看看我们如何被数据包围着。在现实的生活中，一分钟或许微不足道，或许连200字也打不了，但是数据的产生却是一刻也不停歇的。来看看一分钟到底会有多少数据产生：YouTube用户上传48小时的新视频，电子邮件用户发送204 166 677条信息，Google收到超过2 000 000个搜索查询，Facebook用户分享684 478条内容，消费者在网购上花费272 070美元，Twitter用户发送超过100 000条微博，苹果公司收到大约47 000个应用下载请求，Facebook上的品牌和企业收到34 722个“赞”，Tumblr博客用户发布27 778个新帖子，Instagram用户分享36 000张新照片，Flicker用户添加3 125张新照片，Foursquare用户执行2 083次签到，571个新网站诞生，WordPress用户发布347篇新博文，移动互联网获得217个新用户。
数据还在增长着，没有慢下来的迹象，并且随着移动智能设备的普及，一些新兴的与位置有关的大数据也越来越呈迸发的趋势。
那么大数据究竟是什么？我们来看看权威机构对大数据给出的定义。国际顶级权威咨询机构麦肯锡说：“大数据指的是所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。这是一个被故意设计成主观性的定义，并且是一个关于多大的数据集才能被认为是大数据的可变定义，即并不定义大于一个特定数字的TB才叫大数据。因为随着技术的不断发展，符合大数据标准的数据集容量也会增长；并且定义随不同行业也有变化，这依赖于在一个特定行业通常使用何种软件和数据集有多大。因此，大数据在今天不同行业中的范围可以从几十TB到几PB。”
从上面的定义我们可以看出以下几点。
（1）多大的数据才算大数据，这并没有一个明确的界定，且不同行业有不同的标准。
（2）大数据不仅仅只是大，它还包含了数据集规模已经超过了传统数据库软件获取、存储、分析和管理能力这一层意思。
（3）大数据不一定永远是大数据，大数据的标准是可变的，在20年前1 GB的数据也可以叫大数据，可见，随着计算机软硬件技术的发展，符合大数据标准的数据集容量也会增长。
IBM说：“可以用三个特征相结合来定义大数据：数据量（volume）、多样性（variety）和速度（velocity），或者就是简单的3 V，即庞大容量、极快速度和种类丰富的数据。”[1]
（1）数据量：如今存储的数量正在急剧增长，毫无疑问我们正深陷在数据之中。我们存储所有事物——环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别，并且不可避免地转向ZB级别。现在经常听到一些企业使用存储集群来保存数PB的数据。随着可供企业使用的数据量不断增长，可处理、理解和分析的数据比例却不断下降。
（2）数据的多样性：与大数据现象有关的数据量为尝试处理它的数据中心带来了新的挑战：它多样的种类，随着传感器、智能设备以及社交协作技术的激增，企业中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括点击流数据），搜索索引、社交媒体论坛、电子邮件、文档、主动和被动的传感器数据等原始、半结构化和非结构化数据。简言之，种类表示所有数据类型。
（3）数据的速度：就像我们收集和存储的数据量和种类发生了变化一样，生成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储库相关的增长速率，应动态地将此定义应用到数据——数据流动的速度。有效处理大数据要求在数据变化的过程中对它的数量和种类执行分析，而不只是在它静止后执行分析。
最近，IBM在以上3 V的基础上归纳总结了第4个V——veracity（真实性和准确性）。“只有真实而准确的数据才能让对数据的管控和治理真正有意义。随着社交数据、企业内容、交易与应用数据等新数据源的兴起，传统数据源的局限性被打破，企业愈发需要有效的信息治理以确保其真实性及安全性。”
接下来让我们来剖析下大数据突出的特征：多样性。图1-7显示了几种不同结构类型数据的增长趋势，从图中可以看到，未来数据增长的80%～90%将来自于不是结构化的数据类型（半结构化数据、准结构化数据或非结构化数据）。
结构化数据：包括预定义的数据类型、格式和结构的数据，例如，事务性数据和联机分析处理，如表1-1所示。
半结构化数据：具有可识别的模式并可以解析的文本数据文件，例如自描述和具有定义模式的XML数据文件，如代码清单1-1所示。
代码清单1-1 半结构化数据示例
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Do not modify this file directly. Instead, copy entries that you --> <!-- wish to modify from this file into mapred-site.xml and change them --> <!-- there. If mapred-site.xml does not already exist, create it. --> <configuration> <property> <name>hadoop.job.history.location</name> <value></value> </property> <property> <name>hadoop.job.history.user.location</name> <value></value> </property> </configuration>准结构化数据：具有不规则数据格式的文本数据，使用工具可以使之格式化，例如包含不一致的数据值和格式的网站点击数据，如http://zh.wikipedia.org/wiki/Wikipedia:
