1、分布式计算框架将计算任务分配给集群中的多个节点，实现并行处理大规模数据常用的分布式计算框架包括Apache SparkApache Hadoop MapReduceApache Flink 3 大数据数据库 大数据数据库专门设计用于存储和管理大规模非结构化和半结构化数据常用的大数据数据库包括Apache CassandraApache HBaseMongoDB 4。

2、4 配置MySQL数据库连接，创建数据库并粘贴Hivesitexml文件以配置MySQL连接信息5 下载并安装MySQL连接器，确保Hive与MySQL数据库连接成功6 执行初始化脚本`schematool initSchema dbType mysql`以完成数据库配置安装Hbase1 使用Homebrew安装Hbase2 修改配置文件以匹配Hadoop和Hbase版本。

3、实时查询场景中，solr或elasticsearch成为关键它们构建在分布式索引基础上，允许快速响应查询请求，适合作为数据查询入口，提高查询效率企业级ODSEDW或数据集市场场景下，Greenplum是一个优秀选择这类系统基于关系型数据库，专为大数据实时分析设计，支持业务数据集成与分析数据库系统主要分为两类面向。

4、中国，不会1中国阿里云数据库HBase是面向大数据领域的一站式NoSQL服务2适用于GB至PB级的大规模吞吐检索分析工作负载，是为淘宝推荐支付宝账单花呗风控监控广告投放物流轨迹以及其他数据存放使用的，是不会被删除的。

5、NoSQL数据库大致分为五类列族数据库，如CassandraHBase，支持分布式数据存储和高并发键值数据库，如RedisRiak，提供快速的数据存取和高可用性文档数据库，如MongoDBCouchDB，以文档形式存储数据，灵活性高图数据库，如Neo4j，强调对象间关系的维护以及内存数据网格，如HazelcastGemFire，提。

6、京东的大数据技术应用 京东主要应用了以下大数据技术1 数据存储 HDFS Hadoop 分布式文件系统存储海量数据，提供容错性和高可用性HBase面向列的 NoSQL 数据库，用于存储结构化数据，具有高吞吐量和低延迟Amazon S3云存储服务，提供可扩展安全且经济高效的数据存储2 数据处理 MapReduce。

7、大数据处理框架Hadoop一个分布式文件系统和数据处理框架，用于在商品硬件上处理大数据集Spark一个快速而通用的数据处理引擎，支持批处理实时处理和机器学习Flink一个低延迟高吞吐量的流数据处理引擎数据管理工具Apache HBase一个分布式面向列的数据库，用于存储和查询大数据集MongoDB。

8、第二个上线的应用是TimeTunnel，TimeTunnel是一个高效的可靠的可扩展的实时数据传输平台，广泛应用于实时日志收集数据实 时监控广告效果实时反馈数据库实时同步等领域它与prom相比的特点是增加了在线写动态的数据增加使hbase上compactbalance splitrecovery等诸多特性受到了极大的挑战TT的写入量大约一天。

9、第三阶段大数据导入与存储mysql数据库基础知识，hive的基本语法hive的架构及设计原理hive部署安装与案例sqoop安装及使用sqoop组件导入到hive第四阶段Hbase理论与实战Hbase简介安装与配置hbase的数据存储项目实战第五阶段Spaer配置及使用场景scala基本语法spark介绍及发展历史。