大数据是众多学科与统计学交叉产生的一门新兴学科大数据牵扯的数据挖掘云计算一类的，所以是计算机一类的专业分布比较广，应用行业较多零售业主要集中在客户营销分析上，通过大数据技术可以对客户的消费信息进行分析获知客户的消费习惯消费方向等，以便商场做好更合理商品货架摆放，规划市场营销。

3不一致数据处理 实际数据生产过程中，由于一些人为因素或者其他原因，记录的数据可能存在不一致的情况，需要对这些不一致数据在分析前进行清理例如，数据输入时的错误可通过和原始记录对比进行更正，知识工程工具也可以用来检测违反规则的数据2数据集成 随着大数据的出现，我们的数据源越来越多，数据。

探码科技大数据分析及处理过程 数据集成构建聚合的数据仓库 将客户需要的数据通过网络爬虫结构化数据本地数据物联网设备人工录入等进行全位实时的汇总采集，为企业构建自由独立的数据库消除了客户数据获取不充分，不及时的问题目的是将客户生产运营中所需要的数据进行收集存储2数据管理。

一项由AtScale，致力于智能数据虚拟化和Linux基金会项目Cloudera及ODPi联合进行的最新调查显示，随着企业加速云化进程，79%的企业正面临提升云中数据集成安全性和治理的迫切需求Christopher Lynch，AtScale执行董事长兼CEO，解释道lt“在混合云和多云策略的背景下，大数据分析正成为企业实现商业智能的强大引擎。

3数据工程数据工程师负责构建和维护大规模数据处理系统，包括数据仓库数据管道和数据集成等基础设施4人工智能人工智能涉及大量的数据集和模型训练，以构建智能系统和算法，用于自动化决策自然语言处理计算机视觉等应用5云计算云计算提供了处理和存储大数据的强大基础设施，包括分布式计算。

大数据测试需要掌握以下内容1 数据规模与性能测试 首先需要掌握大数据环境下的测试技术，包括对于超大规模数据的处理与性能测试需要了解大数据平台对数据处理的实时响应能力和吞吐量等性能指标对于此类测试，还需要具备分析和解决大数据环境中出现的性能瓶颈和瓶颈诊断技术2 数据质量与数据集成测试 掌握。

大数据应用的数据来源，不仅仅包括非结构化的数据，还有各种系统数据，数据库数据其中非结构化数据主要是集中在互联网以及一些社交网站上的数据以及一些机器设备的数据，这些都构成了大数据应用的数据来源对于大数据的分析工具来说，现阶段也是对于非结构化的数据分析的比较多BI系统则是在数据集成方面的。