T/QBDA 1001-2017 大数据标准体系框架V1.0

大数据标准体系框架内容
结合国内外大数据标准化情况、 国内大数据技术发展现状、 大数据参考架构及标准化需求， 根据数据全周期管理， 数据自身标准化特点， 当前各领域大数据应用初步实践， 以及未来大数据发展趋势， 制定了大数据标准体系框架。
大数据标准体系框架包含五个部分：1.基础标准。为整个标准体系提供包括总则、 术语、 社会模型、 技术模型等基础性标准。总则提供了大数据标准化指南， 本标准属于总则标准的组成部分。术语定义了大数据各元素的概念。社会模型是一种在大数据产业生态链中能够反映大数据发展、 运行、 产生社会价值的社会化关系概念模型， 一般由系统协调者、 数据提供者、 应用提供者、 框架提供者和数据消费者等构成。技术模型定义了大数据系统中数据生命周期过程， 经历数据采集、 存储、 管理和处理、 分析和挖掘、呈现和应用等过程。2.技术标准。该类标准主要针对大数据相关技术进行规范， 包括数据采集、 数据处理、 数据存储、 数据分析、 数据展现和数据交换等关键技术。数据采集是指在广泛的数据源中对不同类型、 不同格式的数据进行采集， 并发送给存储系统或数据中间件系统进行后续处理。数据处理包含数据预处理和数据处理两个过程。 数据预处理是把多样的数据进行预先处理、分类，提升数据质量， 使得后续数据处理、 存储、 分析等过程更加有效， 包括数据清理、 数据集成、 数据归约与数据转换等阶段。 数据处理技术一方面与分布式存储形式有关， 一方面与数据的温度类型（冷数据、热数据） 相关， 数据处计算模型主要包括 MapReduce 计算模型、 DAG 计算模型、 BSP 计算模型等。大数据存储是对数据进行存储， 其关键技术是分布式存储技术， 不同的存储介质和组织管理形式对应不同的大数据特征， 一般包括分布式文件系统、 文档存储、 列式存储、 键值存储、 图形数据库、关系数据库和内存存储等形式。数据分析是指通过聚类、 分类、 关联分析和深度学习等手段对已有的数据信息的分布式统计进行分析， 以及对位置数据信息的分布式挖掘和深度学习的技术。数据展现是运用计算机图像处理技术， 把数据转换为图形或图像的形式在屏幕上显示出来， 并进行处理。数据交换是指不同系统、 设备之间， 对数据进行交互， 以完成数据生命周期过程的技术。3.管理标准。该类标准主要针对大数据体系进行管理， 包括数据利用、 数据共享管理、 产品管理、 平台管理、 项目管理和产业管理等标准。数据利用是指对大数据进行利用的技术， 包括数据生命周期管理、 数据分类方法、 数据质量评价、数据能力评价和标识管理等技术。数据生命周期管理涵盖大数据生命周期中所有处理过程， 其目的是为了保证数据在生命周期的每个过程都能被大数据系统正确的处理。数据分类方法是通过对不同来源的数据根据其结构、 性质进行分类处理， 降低数据规模， 提升数据质量，提高后续数据处理过程的效率。数据质量评价从完整性、 一致性、 准确性、 及时性四个方面对数据质量进行评估， 区分低质量和高质量数据， 为后续数据处理提供依据。数据能力评价是指对数据管理和应用能力的评价， 可从数据战略、 数据治理、 数据架构、 数据应用、 数据安全、 数据质量管理、 数据标准和数据生命周期管理等多方面对数据能力成熟度进行评价。标识管理是指对数据进行标识、 管理、 分析， 提高数据系统对数据的利用效率。数据共享管理是指在保证数据安全性和隐私性的情况下， 提供数据共享访问接口， 对外提供共享服务， 避免数据重复性建设， 主要包括数据开放管理、 数据目录管理和数据溯源。产品管理是指对大数据产品进行管理， 主要包括产品生命周期管理和产品价值评估等。 产品生命周期管理是对产品从市场获取需求、 产品研发、 运行、 服务直至被市场淘汰回收的全部生命周期各个环节管理过程的统称。 产品价值评估是对产品的功能、 特性、 品质、 品种与式样等所产生的价值进行的评估。平台管理是对大数据平台进行管理， 对平台环境设施、 通信设施、 平台硬件和软件等方面进行管理。项目管理主要包括系统生命周期管理、 立项管理、 实施管理、 验收管理、 运维管理和绩效管理等六个方面。4.安全标准。数据安全作为数据标准的支撑体系， 贯穿于数据整个生命周期的各个阶段。 抛开传统的系统安全和网络安全， 大数据时代下的数据安全标准主要包括通用安全要求、 数据脱敏、 交易安全和隐私保护等安全标准。通用安全要求主要从网络安全、 主机安全、 应用安全和数据安全四个方面来保证大数据平台的安全性。5.应用标准。应用标准主要是针对大数据所能提供的应用服务为社会各领域根据其领域特性产生的专用标准， 主要包括政务、 金融、 交通、 电信、 商贸、 医疗、 教育、 旅游、 工业和农业等领域标准。针对不同应用领域， 需要根据实际情况建立相应标准体系， 规范大数据行为。