亚信安慧AntDB MTK数据同步工具之数据稽核

数据稽核是一种用于确保表数据准确性和一致性的重要方法，它涉及到检查数据的完整性、致性、有效性和合法性，以及与预期规范的匹配程度等多个方面。随着大数据时代的到来，通过有效的数据稽核，组织可以提高决策的准确性和效率，优化业务流程，并增强数据的可靠性和可用性。数据稽核也可以帮助组织发现数据质量问题、识别潜在的数据错误，并为数据管理和决策提供可靠的基础。本文介绍了MTK数据稽核的功能以及操作步骤。

MTK支持数据稽核功能，数据稽核包含表记录数稽核、表数据稽核和表结构稽核，它不仅支持同构数据库之间的数据稽核，还支持异构数据库之间的数据稽核，同时也可以进行不同schema映射下的表数据稽核。在数据迁移后，对迁移库的表数据进行数据稽核，可以发现数据的一致性、完整性、准确性等问题。

表记录数稽核

表记录数稽核通过对源表和目标表分别执行：select count(*) from schemaName.tableName以获取表名对应的记录数，比较记录数是否一致，需要注意的是支持源端和目标端的schema名称不同。表记录数稽核可用于快速发现数据的完整性问题。

数据校验选中需要校验的所有表，校验范围选择行数。

图1：校验范围-行数

行数校验结果如下图2所示，可以看到源表和目标表在行数不一致时分别展示源表行数和目标表行数：

图2：行数校验结果

表数据稽核

表数据稽核通过select语句将表数据查询出来，再进行内容比对。若遇到大表,且有主键表，再根据主键拆分成多个select语句多线程处理；若是无主键表,则根据rowid或者ctid分段查询，需注意的是不同数据库采用的分段策略有所不同，通过分段查询可以提高数据校验的处理速度。表数据稽核可用于全方面的检查数据的一致性、完整性、准确性等问题。

图3：校验范围-模型和数据

表数据稽核比对结果如下图4所示，可以看到表内容比对的记录数，当表数据不一致时，可以点击详情按钮查看源表和目标表具体的内容差异明细：

图4：校验结果-模型和数据

表差异内容明细图如下图5所示：

图5:表内容差异明细

?表结构稽核

表结构稽核可以查看源表和目标表的字段差异，包括对字段名称、字段类型、字段长度的校验。表结构稽核可以用于检查不同环境DDL(数据定义语言)的一致性问题。

图6：表结构差异明细

综上所述，MTK工具的数据校验是一项重要任务。通过使用MTK工具，可以对数据进行校验、验证和修复，以确保数据的准确性和完整性MTK工具提供不同的校验方法和规则，用于检查数据中的错误、不一致性和异常值，从而保证数据的质量和可靠性。MTK工具的数据校验也可以帮助我们优化数据流程、快速发现和解决潜在的数据问题，并为后续分析和决策提供可靠的数据基础。因此，在使用MTK工具进行数据校验时，应确保选择适当的校验方法和配置参数，以满足特定的数据质量要求。

关于亚信安慧AntDB数据库

AntDB数据库始于2008年，在运营商的核心系统上，服务国内24个省市自治区的数亿用户，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行超十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。