数据质量评价目的、意义、评价方法与流程有哪些？

数据质量直接影响数据资源的真实价值和业务贡献，进而影响企业财务报表。

1.数据质量评价的目的

数据质量是指数据在指定条件下使用时，其特性能够满足明确的或者隐含的要求的程度。数据质量评价的主要目的有: 一是提高数据的可信度和有效性。通过评价可以检验数据的质量,找出存在的问题,然后采取措施改进,确保数据真实可靠。

二是为数据应用提供质量保障。高质量的数据才能带来有效的分析和决策,否则会导致错误的结果。质量评价可以防止低质量数据的误用。 三是评估数据资产的价值。数据的质量直接影响其价值和功效。质量评价可以给出数据质量的定量指标,为数据资产的定价和管理提供依据。 四是指导数据管理工作。质量评价可以判断出数据质量存在的问题,从而针对性地改进数据采集、存储、处理等环节,指导数据管理。 五是评估数据项目的进展。定期开展质量评价,可以监测数据质量的变化,考核数据管理工作的效果。六是建立数据质量意识。将质量评价作为常规工作,可以使企业重视数据质量,形成良好的数据治理文化。

2.数据质量评价的意义

数据质量评价的意义主要体现在以下几个方面:一是判断数据质量好坏,找出存在的问题。质量评价可以检查数据的准确性、完整性、一致性等指标,发现数据错误、缺失、冗余等问题。二是为数据治理和管理提供依据。评价结果可以定位出数据质量管理工作的不足,提出改进措施,指导后续的数据采集、处理、存储等过程。三是引导重视数据质量。将质量评价作为常规工作,会推动企业形成质量意识,管理层重视数据质量。四是评估数据价值,支持决策。高质量的数据更有价值,可以支持数据驱动的决策。质量评价提供了判断数据价值的定量依据。五是监控质量变化,考核工作效果。定期开展质量评价,可以监测数据质量变化情况,评估数据管理工作成效。六是遵守相关规范要求。某些行业或政府部门会要求进行数据质量评估,这是遵守法规的需要。七是为数据治理提供技术支持。评价可以验证治理规则的执行效果,优化治理策略。 数据质量评价在提高数据质量、价值、治理水平方面起到关键作用,质量评价结果会直接影响到数据资产的价值评估。

3.数据质量评价方法

3.1 数据质量评价指标

指标设计原则包括科学性原则、系统性原则、通用性原则、可操作性原则、协调性原则、引导性原则。科学性原则是指采用科学的指标体系设计和计算方法；系统性原则指评价指标架构完整、结构、层次清晰；通用性原则指能够满足多行业、各阶段的数据质量评价要求，适用于数据全生命周期；可操作性原则指设计概念明确、定义清楚，计算方法简明，评价方式可行；协调性原则指复合法律法规，与相关标准相协调；引导性原则指可引导评估单位和被评估单位快速选择针对性的指标进行评价。指标体系参考《GBT36344-2018 信息技术数据质量评价指标》、《LYT2922-2017 林业数据质量评价方法》等数据质量评价文档，从数据的规范性、完整性、准确性、一致性、时效性、可访问性 6 个维度，20 个二级指标，然后通过特定指标规则和数据的形态格式与数据处理的具体环节紧密相关,在不同的实际环境中,会根据使用的数据接口、数据处理技术和功能的不同有不同的三级、四级评价指标。

3.2 数据质量评价方法分类

目前关于数据质量评价方法的研究，主要包括定性评价、定量评价以及定性定量相结合的三种评价方法。一是定性评价。定性评价是依据专业领域知识和个人经验理解，按照一定的评价标准进行估计和推断的一种评价方法。目前的定性评价方法主要是数据质量指标量化法，许多学者认为数据质量是一个多维度的概念，因此从不同角度提出了数据质量评价的定性指标。早期，有些学者提出了数据质量评价的最基本的4个指标，即准确性、时效性、完整性和一致性，在此基础上，现在有些学者将各个现有指标归类，分为直接指标体系和间接指标体系，并采用 GQM(目标一问题式)的方式构建数据质量评价指标。

二是定量评价。定量评价主要通过把评价指标量化，并采用模型和数学统计方法对评价对象作出判断和分析评价。这种方法能够较好地保证评价结果的科学性和客观性，使其具有较好的信度，多数情况下，定量评价用于结构化数据库的评价，例如在针对关系数据库数据质量的精确性和完整性这两个重要指标进行评价时，通过关系代数操作进行量化，通过数据和“最近似”间的信息量差异来定量分析；基于概率论，对数据质量的时效性指标建立评价体系。

三是定性定量相结合的评价。定性定量相结合的评价，其主要做法是在定性评价方法的基础上引入数学手段，定性问题通过人工设定的标准进行评分并做出量化处理，评分的过程都是针对事先建立的指标体系，具有部分数理统计的特征，如德尔菲法、模糊综合评价法、层次分析法等。定性评价主要是用于满足数据用户的需求，主要是采用数据质量调查的方式构建评价指标体系。定量评价是一种客观评价方法，但一般缺少上下文的情景知识，仅是依赖于应用程序的规则或约束判断，除了常用于结构化数据的评价外，部分自动化评价技术也被应用于网络数据资源的质量评价。在数据质量的多维度评价上，定性定量相结合的评价是目前较为常见的评价方法。

4.数据质量评价流程

分析需求，明确目标 对具体业务数据的数据质量评价是以业务需求为中心进行的，首先必须了解具体业务针对特定数据资源的需求特征才能建立针对性的评价指标体系。同时，同一份数据在不同的生命周期中，其质量的关注点是存在差异的，因此需要明确当前阶段数据质量管理的目标。有了明确的目标，才能开始对数据进行合理的评价。

确定评价对象及范围 确定当前评价工作应用的数据集的范围和边界，明确数据集在属性、数量、时间等维度的具体界限。需要说明的是，评价对象既可以是数据项也可以是数据集，但一定是一个确定的静态的集合。

选取质量评价维度及评价方法数据质量维度是进行质量评价的具体反映，如正确性、准确性等，它是控制和评价数据质量的主要内容。因此，首先要依据具体业务需求选择适当的数据质量维度和评价指标。另外，要选取可测、可用的质量维度作为评价指标准则项，在不同的数据类型和不同的数据生产阶段，同一质量维度有不同的具体含义和内容，应该根据实际需要和生命阶段确定质量维度。数据质量评价在确定其具体维度和指标对象后，应该根据每个评价对象的特点，确定其测度及实现方法。对于不同的评价对象一般是存在不同的测度的，以及需要不同的实现方法支持，所以应该根据质量对象的特点确定其测度和实现方法。

进行质量评价 根据前面四步确定的质量对象、质量范围、测量及其实现方法开展质量评测工作。评价对象的质量应当由多个质量维度的评测来反映，单个数据质量测量是不能充分、客观评价由某一数据质量范围所限定的信息的质量状况，也不能为数据集的所有可能的应用提供全面的参考，多个质量维度的组合能提供更加丰富的信息。 

出具数据质量评价报告 经过抽样、度量、评价之后，就可以得到评价结论，并撰写数据质量评价报告。在这份报告当中，应当包括数据质量目标、范围、结论、分析以及质量改善建议，并通过可视化方式展现在报告当中。数据质量评价报告不是最终的目的，这份报告对后续数据质量的管理，数据治理等都具有重要参考意义。

数据质量智能评价 通过智能化、标准化、一体化的数据质量评价，基于行业领域知识和数据质量评价专业方法，实现全方位数据质量评价，有助于企业发现数据质量问题并进行系统性质量改善，提高数据质量评价效率，提升数据资产价值。

数据资产质量智能评价可以围绕国家标准、行业标准、技术规范等标准体系，从规范性、完整性、准确性、一致性、时效性、可访问性六大维度进行数据质量评价。在数据探查、规则库配置、智能任务调度、评价体系定制、评价报告生成、质量归因分析等六个方面实现自动化分析和处理，从而轻松实现科学、全面、专业的数据质量评价。