大数据处理软件有Apache HadoopApache Spark大数据实时处理软件Storm等1 Apache Hadoop Apache Hadoop是一个分布式系统基础架构，主要用于处理和分析大数据它能够利用集群的威力进行高速运算和存储，用户可以在不了解底层细节的情况下处理大规模数据集其核心组件包括分布式文件系统HDFS和MapReduce编程模。

大数据中可以用来实现流计算的技术是StormFlinkSpark StreamingStorm的设计理念就是把和具体业务逻辑无关的东西抽离出来，形成一个框架，比如大数据的分片处理数据的流转任务的部署与执行等，开发者只需要按照框架的约束，开发业务逻辑代码，提交给框架执行就可以了Spark Streaming巧妙地利用了Spark的。

StormStorm是一个分布式实时计算系统，它可以处理实时数据流Storm的核心组件是拓扑结构Topology，它可以将拓扑结构中的每个节点分配给不同的计算节点进行并行处理Storm还提供了可扩展的API，可以方便地与其他框架集成KafkaKafka是一个分布式流处理平台，它可以用于实时数据流的处理和存储Kafka的。

但 Storm 不只是一个传统的大数据分析系统它是复杂事件处理 CEP 系统的一个示例CEP 系统通常分类为计算和面向检测，其中每个系统都可通过用户定义的算法在 Storm 中实现举例而言，CEP 可用于识别事件洪流中有意义的事件，然后实时地处理这些事件。

虽然在特定的情况下，Spark据称要比Hadoop快100倍，但它本身没有一个分布式存储系统 而分布式存储是如今许多大数据项目的基础，它可以将 PB 级的数据集存储在几乎无限数量的普通计算机的硬盘上，并提供了良好的可扩展性，只需要随着数据集的增大增加硬盘 因此，Spark需要一个第三方的分布式存储，也正是因为。

Storm 是 Twitter 主推的分布式计算系统它在Hadoop的基础上提供了实时运算的特性，可以实时的处理大数据流不同于Hadoop和Spark，Storm不进行数据的收集和存储工作，它直接通过网络实时的接受数据并且实时的处理数据，然后直接通过网络实时的传回结果4Samza Samza 是由 Linked In 开源的一项技术，是一。

Storm是自由的开源软件，一个分布式的容错的实时计算系统Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据Storm很简单，支持许多种编程语言，使用起来非常有趣4Apache Drill 为了帮助企业用户寻找更为有效加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为ldquoDrill。

首先在学习真正的大数据技术之前，要熟练掌握一门编程语言，比如java等，在学习大数据期间还会接触到其他的编程语言，比如说ScalaPython等编程语言，不过这些语言都是相通的，掌握了一门编程语言其他的就很好学习了大数据的学习需要掌握以下技术Hadoopsparkstorm等核心技术，如果去培训机构学习的话。

Storm是一个免费开源分布式高容错的实时计算系统Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求Storm经常用于在实时分析在线机器学习持续计算分布式远程调用和ETL等领域Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的 Storm是自由的开源软件。

掌握大数据核心技术之一Hadoop生态体系大数据从入门到精通学习路线第三阶段主要掌握Scala语言的使用各种数据结构同时还要深度讲解spark的一系列核心概念比如结构安装运行理论概念等还有Storm实时开发，Storm主要用来处理实时计算的问题千锋教育截止目前已在北京深圳上海广州郑州成都。