1认识大数据 大数据开发工程师，首先你得熟悉关系型数据库，比如Oracle或者MySQL，熟悉之后，有利于数据仓库的开发再次熟悉Hadoop，这个都是现在大数据领域中用的最多的一个技术，它的HDFS可以实现分布式存储，Yarn是一个优秀；1Hadoop通用提供Hadoop模块所需要的Java类库和工具2Hadoop YARN提供任务调度和集群资源管理功能3Hadoop HDFS分布式文件系统，提供高吞吐量的应用程序数据访问方式4Hadoop MapReduce大数据离线计算引擎，用于；学会shell就能看懂脚本这样能更容易理解和配置大数据集群还能让你对以后新出的大数据技术学习起来更快Hadoop这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的Hadoop里面包括几个组件HDFSMap；大数据开发有两种开发方向，一种是基于Hadoop和Spark开发大数据平台应用，另一种是基于大数据开源组件开发公司需求的一种完善的大数据系统平台，大数据开发主要偏向于使用计算机编程类的知识应用在银行中开发出大数据分析平台，用于分析客户的消费内。

2负责处理和大数据使用，结合大数据可视化剖析工程师，挖掘出价值的数据，为企业提供事务开展支撑大数据开发工程师偏重建设和优化体系3第一类是编写一些HadoopSpark的使用程序，第二类是对大数据处理体系本身进行开发第；以大数据开发来说，其中涉及到的主要是大数据应用开发，要求一定的编程能力，在学习阶段，主要需要学习掌握大数据技术框架，包括hadoophiveoozieflumehbasekafkascalaspark等等#xF4CA大数据分析以大数据分析来说，有主攻业务运营方面；大数据开发工程师需要掌握数据收集的技能，比如使用分布式消息队列Kafka非关系型数据收集系统Flume关系型数据收集工具Sqoop与Canel#xF4BB核心技术大数据开发工程师需要了解并掌握大数据的核心技术，如SparkStormHadoopFlink等#xF4BE数据存储；3 Hadoop Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群Hadoop集群管理YARN以及Hadoop高级管理。