三者是相互独立的 Hadoop是集成了yark，hdfsMapReduce三大组件的框架 Spark是一个优秀的基于内存的计算框架，可以独立使用，也可以和Hadoop集成使用，可以使用Hadoop的yarn进行资源管理可以读写hdfs文件 Scala是一个基于jvm的。

Hadoop 当前大数据管理标准之一，运用在当前很多商业应用系统可以轻松地集成结构化半结构化甚至非结构化数据集还是离线处理，批处理比较多，用的比较广的是hive Storm 用于处理高速大型数据流的分布式实时计算系统为Hadoop；首先大数据spark技术是基于Python和scala编程语言的，熟悉掌握这两种编程语言是必须的其次是要学习spark应用场景模型和集群搭建等内容还有后期的大数据处理等都是必要的知识点。

spark和hadoop的区别如下1诞生的先后顺序hadoop属于第一代开源大数据处理平台，而spark属于第二代属于下一代的spark肯定在综合评价上要优于第一代的hadoop2计算不同spark和hadoop在分布式计算的具体实现上，又有；spark和hadoop的区别诞生的先后顺序计算不同平台不同诞生的先后顺序，hadoop属于第一代开源大数据处理平台，而spark属于第二代属于下一代的spark肯定在综合评价上要优于第一代的hadoop计算不同spark和hadoop在分布式；毫无疑问，为专家设计的产品一般都会停留在原来的轨道上，在其他方面不会有所涉及但Spark在各个行业都存在一些有意义的分布，这可能要归功于各种市场上的大数据的泛滥所以，虽然Spark可能有更广泛的应用，但Hadoop仍然支配着；Hadoop和Spark都是集群并行计算框架，都可以做分布式计算，它们都基于MapReduce并行模型Hadoop基于磁盘计算，只有map和reduce两种算子，它在计算过程中会有大量中间结果文件落地磁盘，这会显著降低运行效率而Spark基于内存计算。

Hadoop和Spark均是大数据框架，都提供了一些执行常见大数据任务的工具，但确切地说，它们所执行的任务并不相同，彼此也并不排斥 虽然在特定的情况下，Spark据称要比Hadoop快100倍，但它本身没有一个分布式存储系统 而分布式存储。

1 Spark VSHadoop哪些异同点 Hadoop布式批处理计算强调批处理用于数据挖掘析 Spark基于内存计算源集群计算系统目让数据析更加快速， Spark 种与 Hadoop 相似源集群计算环境两者间存些同处些用同处使 Spark 某些工作负载。