PB或多PB级基础设施与传统大规模数据集之间的差别简直就像白天和黑夜的差别，就像在笔记本电脑上处理数据和在RAID阵列上处理数据之间的差别quot当Day在2009年加入Shutterfly时，存储已经成为该公司最大的开支，并且以飞快的速度增长quot每N个PB的额外存储意味着我们需要另一个存储管理员来支持物理和逻辑基础。

大数据技术的体系庞大且复杂，基础的技术包含数据的采集数据预处理分布式存储数据库数据仓库机器学习并行计算可视化等1数据采集与预处理FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步。

其次，数据存储系统需要具有可扩展性，不仅要满足海量数据的不断增长，还要满足获取更高分辨率或更多采集点的数据需求第。

大数据解决方案主要用于存储二进制类型的数据数据还包括了结构化数据和非结构化数据，邮件，Word，图片，音频信息，视频信息等各种类型数据，已经不是以往的关系型数据库可以解决的了非结构化数据的超大规模和增长，占总数据量的80~90%，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍。

海量数据的出现对高效及时的存储和处理的要求不断提升 #160从目前行业来看，大数据时代的到来，系统性工程中视频监控系统对存储主要有以下几方面的需求 #160一是海量数据及时高效存储，根据现行的技防法规及标准，一般应用领域视频监控系统数据采集是7x24小时不间断的，系统采集的音视频信息资料。

而云计算它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力存储空间和信息服务云计算及其技术给了人们廉价获取巨量计算和存储的能力，云计算分布式架构能够很好地支持大数据存储和处理需求这样的低成本硬件+低成本软件+低成本运维，更加经济和实用，使得大数据处理和利用成为可能但这。

大数据采集大数据预处理大数据存储及管理大数据分析及挖掘大数据展现和应用大数据检索大数据可视化大数据应用大数据安全等一数据采集如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一因此在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一，数据采集才是。