三大数据架构设计阶段 大数据架构设计阶段需掌握的技术有Flume分布式ZookeeperKafka等1Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的。

大数据包含几个方面的内涵吧 1 数据量大，TB，PB，乃至EB等数据量的数据需要分析处理2 要求快速响应，市场变化快，要求能及时快速的响应变化，那对数据的分析也要快速，在性能上有更高要求，所以数据量显得对速度要求。

SSM框架是由SpringSpringMVCMyBatis三个开源框架整合而成，常作为数据源较简单的web项目的框架大数据开发需分别掌握SpringSpringMVCMyBatis三种框架的同时，再使用SSM进行整合操作12Kafka Kafka是一种高吞吐量的。

数据技术的体系包括以下几个方面数据采集与存储大数据技术的首要任务是采集和存储大量的数据这包括从各种来源获取数据，如传感器日志文件社交媒体互联网等同时，需要选择适当的数据存储技术，如分布式文件系统数据。

2合格的大数据工程师需要熟悉ZooKeeperkafkaHadoopHBaseFlume等平台熟悉并行计算或者分布式计算，熟悉hadoophbaseSparkstorm等框架熟悉掌握mavenJenkinsdockerkubernetessentry等自动化构建运维工具熟练。

2大家已经知道了，我们现在来讲讲，合格的大数据工程师，整体需要掌握哪些技术要想成为企业认可的大数据工程师，就需要悉hadoop，hdfs，hive，kafka，Spark，Storm等大数据系统的安装与性能优化以及错误诊断熟悉ansiblepuppet等。

Zookeeper是很多大数据框架的基础，是集群的管理者12Hbase Hbase是一个Nosql数据库，是高可靠面向列的可伸缩的分布式的数据库13Kafka kafka是一个消息中间件，作为一个中间缓冲层14Flume Flume常见的就是。

大数据主要技术组件HadoopHBasekafkaHiveMongoDBRedisSpark StormFlink等大数据技术包括数据采集，数据管理，数据分析，数据可视化，数据安全等内容数据的采集包括传感器采集，系统日志采集以及网络爬虫等数据。

且在数据结构调整方面存在空间利用率低，停机操作麻烦等问题分布式存储将数据分布在多台廉价的服务器替代昂贵的专用存储硬件，对数据存储采用副本机制，解决了数据丢失的问题，提高了数据的可靠性3Kafka技术 大数据高性能。