hadoop mapreduce hdfs yarnhadoopHadoop 概念版本历史，HDFS工作原理，YARN介绍及组件介绍大数据存储阶段hbasehivesqoop大数据架构设计阶段Flume分布式ZookeeperKafka大数据实时计算阶段MahoutSpark；使用很方便，大数据开发需掌握Redis的安装配置及相关使用方法10 Flume Flume是一款高可用高可靠分布式的海量日志采集聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据同时，Flume提供对数据。

网络数据采集一种借助网络爬虫或网站公开API，从网页获取非结构化或半结构化数据，并将其统一结构化为本地数据的数据采集方式文件采集包括实时文件采集和处理技术flume基于ELK的日志采集和增量采集等等二大数据预处理；hadoopmapreducehdfsyarnhadoopHadoop概念版本历史，HDFS工作原理，YARN介绍及组件介绍大数据存储阶段hbasehivesqoop大数据架构设计阶段Flume分布式ZookeeperKafka大数据实时计算阶段MahoutSparkstorm。

6Zookeeper的内部原理选举机制以及大数据生态体系下的应用 7Flume的架构原理组件自定义监控搭建，熟练使用Flume开发实战需求 8Kafka的安装部署以及框架原理，重点掌握Kafka的分区分配策略数据可靠性数据一致性数据；基础阶段LinuxDockerMySQL基础Oracle基础MongoDBredishadoop mapreduce hadoop，HDFS工作原理，YARN介绍及组件介绍大数据存储阶段hbasehivesqoop大数据架构设计阶段Flume分布式ZookeeperKafka大数据实时。