因为当数据非常巨大时，如 XXX TB 甚至 XXX PB， 区区一台服务器就很难处理过来了所以就需要使用 N 台服务器，组成一个群集，共同处理庞大的数据，这样就能极大提升效率了Hadoop其实就是一个分布式的文件系统，数据会分布到 N 台服务器中，一旦需要处理数据，则 N 台服务器共同进行处理，再把。

3数据清洗MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算4数据查询分析Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQLHiveSQL查询功能Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载5数据。

hadoop组件按服务对象和功能可以划分为数据来源层数据计算层业务模型层等1数据来源层 数据来源层是数据的存储与管理是数据仓库的核心数据来源层针对现有业务系统的数据进行抽取，清洗，并有效集成，按照主题进行组织数据来源层按照覆盖范围可以分为部门级数据仓库与企业级数据仓库2数据计算层。

Hadoop核心架构，分为四个模块1Hadoop通用提供Hadoop模块所需要的Java类库和工具2Hadoop YARN提供任务调度和集群资源管理功能3Hadoop HDFS分布式文件系统，提供高吞吐量的应用程序数据访问方式4Hadoop MapReduce大数据离线计算引擎，用于大规模数据集的并行处理特点Hadoop的高可靠性。

Spark SQL 的引入进一步扩展了其功能，使得用户能在 Spark 上使用 SQL 查询数据此外，Spark 还提供了一系列上层抽象模块，如 StreamingMllib 和 GraphX，支持流处理机器学习和图处理等多样化的数据处理任务HadoopHiveSpark 这三个组件各司其职，共同构建了大数据技术生态的基础Hadoop 负责。

结合上述Hadoop架构功能，大数据平台系统功能建议如图所示 应用系统对于大多数企业而言，运营领域的应用是大数据最核心的应用，之前企业主要使用来自生产经营中的各种报表数据，但随着大数据时代的到来，来自于互联网物联网各种传感器的海量数据扑面而至 于是，一些企业开始挖掘和利用这些数据，来推动运营效率的提升 数据。

让我们用“作坊与工厂”的比喻来理解两者之间的区别作坊专注于制作，而工厂则通过流程化和自动化，实现更高效质量可控的生产在CDH与自建Hadoop之间，CDH就像是一个现代化的工厂，它不仅提供了更成熟的组件，还具备了更好的部署监控配置和管理功能，从而简化了大数据平台的构建和维护过程在CDH。

除了核心组件HDFS和MapReduce，Hadoop还包含其他相关项目，如HBaseZooKeeper等，这些项目为构建大数据解决方案提供了额外的功能和工具例如，HBase是一个可扩展的分布式数据库，适用于存储大量非结构化数据ZooKeeper则提供分布式系统中的协调服务，确保集群中的各个节点能够协同工作总的来说，Hadoop是一个。

本文聚焦于大数据软件架构，具体介绍了Hadoop架构Spark架构以及实时流处理框架的概念与应用Hadoop架构作为分布式计算平台，其核心功能包括分布式并行编程模型MapReduce和Hadoop分布式文件系统HDFS基于Java语言开发，采用MasterSlave架构模式集群主要由三部分组成，以MapReduceHDFS和YARN为核心，硬件环境需高。