数据治理概念、现状、问题与挑战分析

数据治理在一定程度上是对数据管理的细化，它通过明确相关管理组织、工作责任和管理流程来确保数据资产能长期有效、可持续地得到管理，进而使企业获得高质量的数据。

一般而言，数据治理可定义为：关于数据采集、存储、利用、分发以及销毁过程的活动集合。广义的数据治理包括数据管理和数据价值“变现”，具体包含数据架构、主数据、数据指标、时序数据、数据质量、数据安全等一系列数据管理活动的集合。组织数据治理主要包括企业数据治理和政府数据治理。企业数据治理的目标是确保企业数据开发和应用符合公司治理的要求。而政府数据治理的目标是满足经济社会发展对政府数据开发和应用的治理。

数据治理的发展是伴随着各国和不同行业不断演进的过程。数据成为新的生产要素，是企业最为宝贵的资产之一，已成为业界的共识。对企业而言，数据治理是数据资产的治理，是对数据资产所有相关方利益的协调与规范；是实现数据价值落地变革的关键环节；是实现企业降本增效，支撑业务升级的关键途径。然而，目前企业普遍存在着“重创造轻管理、重数量轻质量、重利用轻增值利用”的现象，在数据质量、服务创新、开放共享等方面面临着越来越严峻的挑战。为此，欧美等国从数据开放共享、隐私保护、伦理道德等方面出台了多项政策予以支持和指导，而中国的数据治理更偏重于实践，更聚焦于数据治理工程项目的落地实施和技术工具的设计开发。 传统的 IT 业务视角的数据治理，往往容易形成数据“竖井”，难以快速释放数据价值。面对如何挖掘数据业务的价值及释放数据资产化价值的要求，数据治理应从数据质量提升和使用出发，以数据质量提升和数据安全共享为目标，强调数据本身的处理和过程管理，明确数据处理的全链路职责，推动内外部数据流通，促进数据资源化、资产化的路径转变，逐步提升数据的价值密度，释放数据价值。

随着数据价值的彰显，各行业普遍认识到数据资产的重要性，企事业单位纷纷开始通过数据治理来提升数据管理和应用水平，但受行业类别、企业规模、企业所属地区影响，不同的企事业单位数据治理的开展情况存在一定差异。以政务，金融、工业为例： 政务行业：中国政务数据治理经历了几个阶段。早在2002 年左右开始的电子政务“两网四库十二金”建设，以及随之成立相应的大数据管理部门，通过数据共享交换实现了数据的共享和展现，此阶段主要由电子政务、政务云和政务大数据的技术来驱动。2017 年，国务院印发了《政务信息系统整合共享实施方案》以促进政务信息系统整合共享、推进“互联网+政务服务”、提升政府信息资源的利用水平和政务服务能力，此阶段的政务数据治理是满足特定场景、通过场景驱动的。2021 年开始的“十四五”规划将加快推进数据要素市场化建设，围绕“数字产业化、产业数字化”，促进行业间的数据开放和流通，创新的、效益化的数据应用能够正向激励数据要素的使用，政务数据治理将进入创新驱动阶段。

金融行业：自 2018 年 5 月 21 日中国银保监会正式发布的《银行业金融机构数据治理指引》颁布后，数据治理工作被国内银行业金融机构正式提上日程，一方面是监管要求的应对，另一方面是多年积累的数据治理需求集中迸发。不同银行在数据治理方面也都有各自的实践，但是对数据治理顶层设计、数据管理制度体系制定、数据治理考核体系构建、数据标准落地、数据资产目录梳理、数据管控工具建设、数据安全保障等方面存在的众多问题可能都有不同的理解或者还存在相应的困惑。 工业企业：随着数据仓库的建设，国内工业企业逐步开始接受数据治理的理念，并在 2015 年提出了《数据治理白皮书》国际标准研究报告。2018 年，《数据管理能力成熟度评估模型 Data Management Capability Maturity Assessment Model (DCMM) (GB/T36073-2018) 国家标准发布，包括数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生存周期八大能力域，其中，数据治理是各项数据管理工作开展的基础，数据标准是企业数据质量管理的重要前提，数据质量则是确保数据全生命周期数据需求被充分满足、充分保障数据资产价值释放的关键。2020 以来，数据治理在公共管理、科学研究与工商业等领域得到广泛应用，以数据为核心的“互联网+”体系日益彰显数据治理的价值。为进一步推动数据治理的发展，美国、欧盟纷纷颁布围绕数据使用与保护的公共政策，我国也相继出台了《中国制造 2025》、《关于深化“互联网+先进制造业”发展工业互联网的指导意见》等相关政策以促进工业互联网发展，进一步体现了工业数据治理的必要性。

从行业落地的角度看，在推动数据治理的过程中，各级政府和企业是数据治理的重要推动者，且在政务、金融、工业等领域积累了一定的数据资产管理和数据治理的经验，形成了较完整的技术方案和工具产品。在数据治理成熟度方面，金融、电信、政务等重点行业用户加快数据共享、提升数据开放应用的需求快速凸显，为国内厂商在数据治理、数据共享等领域提供了广阔的市场空间，国产品牌份额增长的趋势明显，互联网行业、金融业（以大型银行为代表）以及部分电力企业相对比较领先。 在市场规模方面看，政务、金融等行业最为领先，其次是能源行业（以电力企业为代表）、零售业，其他行业如制造业（尤其是在涉及到物联网数据采集与处理的场景中）、交通业（设备上产生数据的采集与治理）、医疗行业（医保数据相关）、建筑工程业（国企类型的企业）的数据治理成熟度迫切需要提高，从而也有着较高的应用潜力。IDC 发布《中国数据治理市场份额，2022》报告显示，2021 年中国数据治理市场整体规模达 39.7 亿元人民币，年复合增长率为15%，处于快速增长阶段。头豹研究院预计，数据治理市场规模将在预测期间以33.83%的年复合增长率于 2024 年达到 325.5 亿人民币的价值。2022理市场规模达 47.5 亿元人民币，增长率为 19.65%，处于稳步增长阶段。其中，由数据汇聚产生的数据治理需求，主要集中在省、市、县数据资源管理局（大数据局）占数据治理投资的 86%，部委及直属机构的数据治理占2022 年中国数字政府数据治理投资的 14%。

从厂商的角度看，数据治理市场主要由专业数据治理公司、综合软件厂商、咨询公司构成。基于国际理论（如 DAMA-DMBOK，也包括近两三年推广的国标 DCMM）以及自身实践经验，咨询公司在咨询上有较强优势，但是在产品建设上较弱，而专业数据治理公司、综合软件厂商则在产品侧较强，并且相对于国内厂商，海外厂商在数据治理上有明显的云转型的趋势。在国际市场，IBM通过云和 AI 技术为企业提供整体的数据治理解决方案，同时也重视隐私和安全，主要包括 IBM Cloud Pak for Data 和 IBM Watson Knowledge Catalog Informatica(数据管理软件提供商)的数据治理方案也在朝着云和运用AI 和机器学习智能化及自动化方向迁移，同样对隐私和安全问题也非常重视，主要通过Intelligent DataManagement Cloud 提供数据治理服务。在国内市场，主要数据治理厂商通过智能化数据中台提供数据治理解决方案，包括主数据管理平台、元数据管理平台、数据资产管理软件、数据目录资源软件、数据共享服务平台等，并以咨询服务加产品的商业模式向企业提供数据治理整体解决方案。

从监管层面来看，数据安全合规、数据监管已成为全球关注的问题，各国均不断加强数据监管建设，并且推动数据治理的需求不断增强。从技术层面来看，数据治理平台要与行业、场景深度融合，将行业的业务模型内置到治理平台中，开发行业套件，加快治理效率。同时将人工智能技术逐步应用到数据治理中，推动数据治理功能更加成熟完善，进一步推动数据治理市场的快速发展。 整体来看，数据治理越来越受到政府和企业的重视，逐步内化成为了组织机制建设的一部分，成为了数字化转型的基础性和关键性工作。

长期以来,数据被定义为业务系统的附属品,数据所能带来的价值尚未得到充分肯定。这也导致了我国的信息化发展一直侧重于应用系统建设而忽略了数据建设,数据应用仅仅停留在统计、分析和展示层面,缺少深层次的应用价值挖掘,进而导致了在整个信息化建设进程中,数据质量一直未得到重视,数据质量文化建设不到位。 大多数工业企业缺乏专门的数据管理组织，投入数据管理的人力也有限，且大部分做的是数据操作基础工作，缺少顶层规划和管理的组织架构和人员。虽然有部分企业建立了数据管理的相关制度、标准、流程及绩效管理机制，但很多企业在这方面都是缺失的。

我国工业企业的数据资源存量普遍不大。同时，管理手段比较落后，大多企业仍在使用纸质或更原始的方式进行数据管理。数据孤岛几乎是所有企业都面临的困境。 从单一企业内部来看，存在着不同时期由不同供应商开发建设的客户管理、生产管理、销售采购、订单仓储、财务人力等众多 IT 系统，可谓烟囱林立。而要深度推进智能化，不仅信息系统要横向互通，还要进一步纵向打通IT和OT两界的数据，难度非常大。而且，企业越大，管理和技术包袱越重。从产业链来讲，工业企业的上下游供应链之间缺少数据的互联互通。大部分企业并没有实现供应链协同，销售订单和采购订单还依赖于传统的电子邮件或者纸质传递。这种传统的方式很难做出精准的销售预测，更别说进行个性化的定制。

在数据信息化的发展过程中,信息化建设由各个业务部门自发开展,并以支撑本部门业务流转为主要目标。直到近几年,随着大数据管理职能部门的成立,数据才转为专门的职能部门负责,但是在管理机制和权责方面仍未形成成熟的体系,主要体现在顶层规划、标准体系、评价体系、考核体系等方面的欠缺，尤其是数据质量管控相对滞后,管控工作片段化,没有形成完整的数据质量管控体系和全面的数据质量保障机制,从而制约了数据资产价值的充分发挥。

随着大数据的蓬勃发展,政务数据在类型、数量、增速等方面的特点显著增强。数据库规模的不断增加、不同数据源之间的关系愈加复杂、数据处理的实时性要求越来越高,这些因素给数据质量管理工作增加了困难。非自动化的方法、普通脚本监测的方式已无法满足数据质量管理的要求,尤其是在面对复杂业务和海量数据的情况下,缺少必要的技术手段来进行数据质量管理工作。

数据治理与 IT 融合既需要解决公共信息基础设施建设问题，也需要兼顾数据流动过程中的秩序、效率与效果等核心内容，如何有效解决因IT 融合而引发的数据保护问题、数据资产开发等问题需要从数据治理的全局层面进行思考。

现阶段，企业开展数据资产管理主要是为经营管理和业务决策提供数IT据支持，数据资产管理应与业务发展紧密结合，数据资产也需要借助业务活动实现价值释放。然而，很多组织的数据资产管理工作与实际业务存在“脱节”情况。一是战略层面不一致，多数企业并未在企业发展规划中给予数据资产管理应有的组织地位和资源配置，未体现数据资产管理与业务结合的方式与路径，企业数据管理内驱动力不足，投入的资源资金不足以支撑数据管理的有效开展。二是组织层面不统一，数据资产管理团队与业务团队缺乏有效的协同机制，使数据资产管理团队不清楚业务的数据需求，业务团队不知如何参与数据资产管理工作，面临数据管理价值不明显、数据管理路径不清晰等问题。