在维克托·迈尔舍恩伯格及肯尼斯·库克耶编写的大数据时代2 中大数据指不用随机分析法抽样调查这样捷径，而采用所有数据进行分析处理大数据的5V特点IBM提出Volume大量Velocity高速Variety多样。

Apache Spark 是最好最强大的开源大数据分析工具之一借助其数据处理框架，它可以处理大量数据集通过结合或其他分布式计算工具，在多台计算机上分发数据处理任务非常容易它具有用于流式 SQL机器学习和图形处理支持的内置。

分布式计算技术由于数据量巨大，需要采用分布式计算技术来实现高效处理Hadoop是目前最流行的分布式计算框架之一，它基于MapReduce算法实现了海量数据的并行处理数据处理和分析技术包括机器学习数据挖掘统计分析等技术，用于。

HDFS现已成为大数据磁盘存储的事实标准，其上层正在涌现越来越多的文件格式封装如Parquent以适应BI类数据分析机器学习类应用等更多的应用场景未来HDFS会继续扩展对于新兴存储介质和服务器架构的支持另一方面，区别于常用的。