数据治理之数据标准管理

一、概述

数据标准管理是数据管理的基础性工作，是企业数据治理的第一步。

什么是数据标准

数据标准（Data Standards） 是指保障数据的内外部使用与交换的一致性和准确性的规范性约束。

数据标准就是对一项事物的统一描述，防止有歧义存在。
比如：对于销售来说，客户是购买企业产品的人员，对于财务来说，是发生财务往来，需要记账的人员，对于IT来说，需求部门；对于市场人员，想要购买我们产品的人。

数据标准的作用

数据标准适用于业务数据描述、 信息管理及应用系统开发， 既可作为经营管理中所涉及数据的规范化定义和统一解释， 也可作为数据管理的基础， 同时也是在应用系统开发时进行数据定义的依据。
比如：客户数据，在某些企业开发中喜欢使用一些备用字段，即在建客户表的时候防止字段不够，新增几个备用字段，具体含义需要等到使用到这个字段的时候才能够体现出来；时间一长，客户数据就容易造成混乱，字段不统一。
数据标准还有以下作用：

• 数据标准可以增强各业务部门对数据理解的一致性， 提升沟通效率。
• 数据标准可以减少数据转换， 促进系统集成和信息资源的共享。
• 数据标准可以促进企业级单一数据视图的形成， 支持数据管理能力的发展。
• 数据标准有助于对数据进行统一规范的管理， 消除各部门间的数据壁垒，支持业务流程的规范化。
• 数据标准有利于提高数据质量。 可以基于数据标准的规范化定义对企业数据质量进行检查， 找出有问题的数据， 出具数据质检报告。
• 数据标准有利于规范化管理数据资产。
• 数据标准是数据资产梳理和定义的基础。 对于一家拥有大量数据资产或者要实现数据资产交易的企业而言，构建数据标准是一件必须做的事情。

什么是数据标准化

数据标准化是建立各部门数据共识过程， 是各业务部门之间沟通和各系统之间数据整合的基础。

• 数据标准化是建立各部门共识的过程
• 数据标准是各系统数据整合的基础

数据标准化是数据治理的基础：

数据标准与主数据、元数据、数据质量、参考数据、数据模型息息相关。
主数据：主数据管理过程中还会涉及主数据的清洗标准、 主数据的管理标准、 主数据的接口标准等。
元数据：业务元数据是基于数据标准的。
数据质量：数据不够标准，数据质量无从谈起。
数据模型：数据不进行标准化，数据模型就无法确定。

数据标准的意义

业务方面

数据标准解决数据不一致、不完整、不准确的问题，消除数据的二义性，提升业务规范，降低沟通成本，提升业务效率。

技术方面

提升应用系统开发以及系统集成间的实施效率，为数据质量规则的建立、稽核提供依据，是数据质量管理的重要输入。

管理方面

通过对业务术语、 主数据和参考数据、 指标数据等定义统一的标准， 为精准数据分析奠定了基础。 统一的数据标准能够让业务人员轻松获取数据， 从而为业务人员自助式地进行数据分析、 数据探索提供了可能。

二、数据标准管理的内容

数据模型标准

数据模型标准化是对每个数据元素的业务描述、 数据结构、 业务规则、 质量规则、 管理规则、 采集规则进行清晰的定义， 让数据可理解、 可访问、 可获取、 可使用。 数据模型反映的是对业务的理解和定义， 能够帮助企业建立组织内部和组织之间沟通的桥梁。 数据模型可以用于识别丢失和冗余的数据， 并且有助于在ETL过程中记录数据映射。

基础数据标准

基础数据是指数据字段，比如：国家地区、 行政区划、 邮政编码、 性别代码、 计量单位代码等。

基础数据标准的稳定性比较强， 一经发布， 一般不会轻易变更， 它属于企业各系统之间共享的公共代码。

主数据和参考数据标准

主数据是用来描述企业核心业务实体的数据， 比如客户、 供应商、 员工、产品、 物料等。 它是具有高业务价值、 可以在企业内跨业务部门被重复使用的数据， 被誉为企业的“黄金数据”。
参考数据是用于将其他数据进行分类或目录整编的数据， 是规定数据属性的域值范围。 参考数据一般以国际标准、 国家标准或行业标准为依据， 是固定不变的数据。

人员主数据案例：

主数据标准包含主数据分类、 主数据编码和主数据模型。

指标数据标准

企业的各业务域、 各部门均有其相应的业务指标， 这些指标有的名称相同却有着不同的业务含义， 而有的指标虽然名称差异很大， 但在业务上却是同一个指标。 如果不对指标数据进行标准化， 你可以想象： 对于同一指标， 不同系统的指标统计结果可能是不同的， 而且很难分清哪个才是正确的；

• 指标业务属性一般包括指标编码、 指标中文名称、 指标英文名称、 指标主题、 指标分类、 指标类型、 指标的业务定义、 指标的业务规则、 指标的数据来源、 取数规则、 统计维度、 计算公式、 显示精度、 相关基础数据标准等。
• 指标技术属性一般包括指标来源系统、 指标使用系统、 数据源表、 数据类型、 度量单位、 取值范围、 指标生成频度、 指标计算周期、 指标取数精度等。
• 指标管理属性一般包括归口管理部门、 业务负责人、 技术负责人、 指标权限范围等。

三、数据标准管理流程

数据标准管理从需求发起到落地执行， 一般需要经过标准梳理、 标准编制、 标准审查、 标准发布、 标准贯彻五个阶段， 如下图所示：

数据标准梳理

数据标准梳理需要从企业业务域、 业务活动、 数据对象（数据实体、 指标） 、 数据关系等方面层层递进， 逐步展开， 我们将这个方法称为BOR法（Business-Object-Relationship） 。

从上往下分析，从企业活动域开始分析、活动域涉及到的对象实体、再到实体之间的关联关系。
第一， 根据企业业务情况划分业务域， 识别每个业务域的关键业务活动，并对每个业务域中的业务活动进行梳理和定义， 同时处理该活动输入和输出的各类业务单据、 用户视图， 并梳理每个单据和用户视图的数据对象。
第二， 对数据对象进行分析， 明确每个数据对象所包含的数据项（属性） ， 同时， 梳理并提炼出该业务域中所涉及的数据指标和数据项。 分析并定义每个数据实体或指标的数据元标准， 包括数据元的名称、 编码、 类型、 长度、 业务含义、 数据来源、 质量规则、 安全级别、 域值范围、 管理部门等， 尽可能描述企业数据对象的业务逻辑。
第三， 梳理和抽象所有数据实体、 数据指标的关联关系， 并对数据之间的关系进行定义， 进一步明确数据对象间的数据关系。
第四， 通过以上梳理、 分析和定义， 确定企业数据标准管理的主体范围，并基于系统实现的逻辑进行归纳和抽象， 形成企业级数据标准模型。 这个过程可能涉及对数据对象的合并或拆分。

数据标准制定

数据标准编制是根据企业的业务需求和数据管控要求， 对数据对象及其数据项进行明确定义的过程， 包括数据项名称、 数据项编码、 数据类型、 长度、业务含义、 数据来源、 质量规则、 安全级别、 域值范围等。 数据标准的编制可以参考国际标准、 国家标准或行业标准， 也可以根据企业业务需求制定特定的企业级数据标准。
数据标准制定的三个方法：

• 头脑风暴会议
• 标准差异分析
• 标准影响评估

数据标准审查

对数据标准初稿进行审查， 判断数据标准是否符合企业的应用和管理需求， 是否符合企业数据战略的要求。 如数据标准没有通过审查， 则由数据标准管理办公室进行修订， 直到满足企业数据标准的发布要求。
数据标准审查主要包括以下两个步骤：

• 数据标准意见征求
• 数据标准意见评审

数据标准发布

数据标准意见征集完成、 标准审查通过后， 由数据标准管理委员会以正式的形式向全公司发布数据标准。数据标准一经发布， 各部门、 各业务系统都需要按照标准执行。 遗留系统的存量数据会存在一定的风险， 企业应做好相应的影响评估。

数据标准贯彻

对于企业新建的系统应当直接应用定义好的数据标准， 对于旧系统一般建议建立相应的数据映射关系， 进行数据转换， 逐步将数据标准落地。 同时， 在数据标准贯彻过程中还需要加强对业务人员的数据标准培训、宣贯工作， 以帮助业务人员更好地理解数据标准。
数据标准贯彻的三个关键实践：

• 数据标准宣贯

  • 要发挥出数据标准的各项效果， 需要在标准实施前认真宣贯， 让全公司对数据标准达成共识， 以便更好地将其应用到实践中去。
  • 数据标准的宣贯方法有文件传阅、 集中培训、 专题培训等。

• 对业务部门的要求

  • 在数据标准的执行过程中， 应避免对标准的随意改动， 如果标准确实存在问题、 必须修改， 则需要提请数据标准变更流程， 经数据标准管理委员会审查后方可变更。

• 对应用系统的要求

  • 在系统需求分析阶段， 系统建设方应提出数据使用需求， 然后数据标准管理委员会参与数据需求的评审， 并给出数据标准的使用建议。
  • 在系统设计开发阶段， 应基于现行的数据标准进行数据库和应用的设计和开发。
  • 在系统正式运行阶段， 系统应纳入公司的数据治理范围， 符合公司在数据标准、 数据质量、 数据安全等方面的要求。
  • 数据标准管理执行组对应用系统的数据标准贯彻执行情况进行监督考核， 对于不符合数据标准要求的， 提出改进要求， 并监督其完成整改。

四、数据标准管理办法模板

数据标准目的

明确数据标准的目的， 企业为什么需要数据标准管理。

数据标准适用范围

明确数据标准的适用范围， 是全公司适用还是只在某些部门生效。

数据标准管理组织

明确数据标准的管理组织和职责分工， 并规定各组织在数据标准的制订、 评审、 发布、 执行、 变更等各环节的职责。

数据标准的执行要求

明确在哪些数据操作环境（如录入、 维护、 应用、 归档等） 中应遵循数据标准要求， 明确在IT系统构建或改造中应遵循数据标准要求。

数据标准管理流程

明确数据标准需求的来源、 数据标准编制的原则、 数据标准编制使用的模板、 数据标准编制的注意事项、 数据标准编制完成后的提审流程等内容。
明确数据标准审核及发布的要求， 一般包含数据标准的评审原则、 评审方式、 评审内容、 发布要求、 发布范围、 执行范围、 版本控制等内容。
明确数据标准变更流程（如标准变更的发起、 审核、 复审流程） 、 标准变更注意事项、 影响评估等。

数据标准绩效考核

明确数据标准的绩效考核办法， 如考核指标、 考核对象、 考核周期、 考核方式等。
明确数据标准执行过程的奖惩条件、 奖惩措施。

附则

附则主要用于描述数据标准管理办法的监督检查规定、 办法的制定依据、 存在争议或分歧时的解决方式， 并说明办法的制定单位、 批准单位、 解释单位以及办法的开始执行时间。

五、数据标准管理最佳实践

业务主导

数据标准来源于业务， 服务于业务， 数据标准化问题归根到底还是管理问题， 应从业务入手。

循序渐进

从价值链、 业务流程角度进行分段实施， 不要企图一次实施所有的数据管理标准。 企业应根据业务需求， 结合系统改造和新系统建设的契机， 选择适当的数据标准落地范围和层次， 对亟待解决的标准问题进行落地。

动态管理

对于数据标准管理， 最重要的是保持数据定义、 标准设计和标准使用的一致性。 但数据标准不是一成不变的， 比如企业在拓展新业务的时候， 需要增加相应的标准， 对于没有价值的标准， 要及时废弃。

应用为王

任何一个企业建设数据标准都不是为了建标准而建标准， 而是为了让数据标准服务于业务， 提升业务效率。 应结合企业IT系统的现状， 以落地应用为目的， 以企业现行的各类国标、 行标为基础， 以对现有系统的影响最小为原则编制和落地标准， 这样才能确保标准切实可用， 让数据标准最终回归到业务应用中， 发挥作用。

六、数据标准管理工具

数据标准管理本质上是元数据管理， 管理的内容包括技术元数据、 业务元数据和操作元数据。 目前业界还没有体系化、 标准化的数据标准管理工具， 很多企业将其数据标准管理工具嵌入元数据管理平台， 作为一个整体为企业提供数据治理服务。

系统架构

数据标准管理涵盖数据标准申请、 制定、 发布、 变更和执行的全生命周期管理过程。 从管理和应用层面， 我们将数据标准管理工具分为数据标准采集、数据标准管理和数据标准查询三层架构，如下图所示：

数据标准采集

据标准采集是指统一采集和管理实现企业的业务术语标准、 基础数据元标准、 数据指标标准等数据标准所涉及的数据标准类型、 数据元名称、 数据元规则、 数据元值域、 数据元管理属性、 数据结构等信息。

数据标准管理

数据标准管理工具提供数据标准的维护、 审核、 发布， 以及数据标准的需求管理、 变更管理、 版本管理等基础管理功能； 提供数据标准对外接口， 实现数据标准的交换和共享， 确保数据标准的落地； 提供数据项对标、 一致性检查、 元数据地图等应用功能， 为数据标准的落地提供支撑。

数据标准查询

数据标准查询功能包括数据标准查询、 全文搜索、 数据导出、 详情查看等功能。 用户可根据自己的兴趣或业务需要来查询数据标准内容。 数据标准查询只能查询自己权限范围内的数据， 业务人员可以查询本业务条线和其他业务条线共享的数据， 管理人员可以查询管辖范围内的数据标准。

数据标准管理

需求管理

主要的需求内容如下：

收集完各业务部门对数据标准的需求后， 对这些需求进行业务影响分析、落地难度分析和实施优先级分析， 以帮助企业确定数据标准制定和落地的行动路线。

数据标准采集

数据标准采集是参考国际标准、 国家标准、 行业标准和企业现行标准， 对数据对象进行标准化设计， 主要包括数据对象的业务含义、 数据标准分类、 数据元定义、 数据元属性规则、 数据元值域范围、 数据元管理属性以及数据对象之间的关系等。 将所有的数据对象、 数据元素、 数据关系等数据统一采集、 入库。

数据标准管理

包含对数据标准的制定以及数据标准管理流程两部分。
标准制定和管理流程参考上面。

数据标准应用

数据标准应用包括数据标准查询、元数据地图、数据标准对标、数据标准访问接口等。

数据标准查询

数据标准管理工具提供数据标准查询功能， 支持按照数据标准分类、 数据标准关键字等多种数据标准查询方式， 支持按照数据标准的上下文查询相关联的数据标准。

元数据地图

数据标准管理工具提供元数据地图功能， 支持按数据域进行数据标准的组织并进行可视化展示。 数据标准的元数据地图可逐层展开， 通过上下文描述展示数据标准之间的关联关系， 以便于用户整体理解数据标准。

数据标准对标

数据标准管理工具提供数据项对标功能， 支持数据标准的一致性检查。 业务系统、 数据仓库、 大数据平台等系统可调用数据标准的对标功能， 对本系统中的数据标准进行一致性检查， 以及时发现系统中存在的数据缺陷。

数据标准访问接口

数据标准管理工具提供数据标准访问接口， 以供其他系统调用， 实现数据标准的落地。