大数据是指无法在一定时间范围内用常规软件工具进行捕捉管理和处理的数据集合，是需要新处理模式才能具有更强的决策力洞察发现力和流程优化能力的海量高增长率和多样化的信息资产。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是IO会有极大的占用 4 大数据处理之四挖掘与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测Predict的效果，从而实现一些高级别数据分析的需求比较。

大数据算法课程讲授大数据上的基本算法设计思想等内容，课程共设计十讲，包含有大数据算法概述亚线性算法亚线性算法例析等大数据算法课程讲授一些大数据上基本算法设计思想，包括概率算法IO有效算法和并行算法等该课程共设计十讲，分别为大数据算法概述亚线性算法亚线性算法例析外存算法概述。

quot大数据quot是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取管理和处理 quot大数据quot首先是指数据体量volumes？大，指代大型数据集，一般在10TB？规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量其次是指数据类别variety大，数据来。

核算与剖析这部分的主要特色和应战是剖析触及的数据量大，其对系统资源，特别是IO会有极大的占用大数据处理之四发掘 主要是在现有数据上面进行根据各种算法的核算，然后起到预测Predict的作用，然后实现一些高等级数据剖析的需求主要运用的工具有Hadoop的Mahout等该进程的特色和应战主要是用于发掘。