数据采集 大数据的采集是指利用各种技术手段来收集来自客户端的数据，并对之进行适当的处理和修正数据存储 采集来的数据首先会被集中存储进入到HDFS文件系统之中在“处理分析”时再对海量数据进行分布式计算处理数据处理和分析 大数据的处理和分析主要是由分布式计算集群对存储数据进行反复的分析分类汇总等。

一过程有利于提高大数据的一致性和可用性总之， 数据预处理环节有利于提高大数据的一致性准确性真实性 可用性完整性。

如果在处理大规模数据的时候没有自己的深层次思考，确实很容易陷入误区而目前大家对于大数据处理的理解误区，一般有以下几种。

过程，这不仅会增加工作量，还会丧失数据的实时性而现代企业 简单方便的轻量级大数据处理技术，但现在这些技术都存在这样那。

大数据生命周期 图1展示了一个典型的大数据技术栈底层是基础设施，涵盖计算资源内存与存储和网络互联大数据技术生态 大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于由于大数据要处理大量非结构化的数据大数据采集与预处理 在大数据的生命周期中，数据采集处于第一个环节根据MapReduce产生数据的应用系统分类。