数据治理工作的局限与困境是什么?

数据治理工作的局限与困境是什么?

最佳答案 匿名用户编辑于2024/01/11 13:47

如果你对该问题感兴趣的话,推荐你看看《2023商业银行数据资产体系白皮书:三位一体,孜资以求》这篇报告,下面是部分摘录的内容,具体请以原报告为准。

1.如何做到“神形兼备”

无论是国际数据管理协会引入的 DMBOK,还是数据管理能力成熟度的国家标准,亦或是银行业的数 据治理指引,企业开展数据治理有章可循,有据可依。通过开展一系列“规定动作”,企业初步成立了数 据治理的组织架构,明确了数据管理职责,建设了数据管理的制度及流程,抓住“数据标准”、“数据质 量”和“元数据”三项数据管理核心工作,开展重要的数据标准定义和数据质量提升等工作。更进一步, 一些先行开展数据治理的企业还积极推进主数据管理,或是以关键业务系统如核心系统、信贷系统、中间业务系统等的重构为契机,落地数据标准,进一步从数据源头强化数据标准落地和数据质量控制。还有一 些企业,通过数据仓库、湖仓一体等数据平台建设,以规范入仓入湖的数据标准化为抓手,通过唯一性整 合、编码映射、重分类、清理异常值等方式实现数据标准落地,支撑日常统计、多维度经营分析、场景营 销、风险管控等各类数据分析应用。这些工作的引入和运作,初步搭建起企业数据治理的骨架,数据治理 的“形”有但更需“神”在。

数据治理的“神”在于将数据管理活动贯穿于数据应用开发的全流程中,建立起从数据源头到数据应 用空间链路,数据从生成到销毁全生命周期的时间链路的伴随式数据管理机制,数据在时空链路上的流动 变换,数据治理中的需求分析、模型设计、标准建设、质量监控、血缘追溯、安全管理等各项具体工作依 次展开。数据治理与数据应用的融合,并不是在时空各环节依次叠加数据管理的各项工作, 而是分析拆解数据应用的需求,提取需求中基础数据和数据加工的共性部分,以数据模型为核心,以数据 血缘关系为连接,整合数据标准和数据质量检核规则,在数据应用开发过程中,保障时空链路中的数据规 范有序,加工逻辑准确无偏,及时识别数据质量问题并有效纠偏。数据应用上线运行后,数据治理持续守 护数据时空链路中的增量内容,第一时间感知源头数据库表结构变化或业务变化带来的数据偏离,监控数 据链路中数据各层级接口、数据订正、数据加工调度、维度数据变化导致的数据质量异常,阻断脏数据通 过时空链路向数据应用的蔓延。

打通数据管理与数据研发流程,将规范的数据模型与数据标准伴随数据研发全过程,研发人员在编写 代码的环境中可以获得模型和数据标准的提示,或是自动补齐 SQL 代码,让数据管理的要求无缝嵌入项 目建设的各个环节。通过需求拆解和模型复用,下沉共性数据加工逻辑,减少数据需求响应时长,避免重 复资源浪费和单独加工可能导致的不一致性。从数据需求至服务供给的端到端数据研发治理一体化,数据 可信程度提升,也进一步增强业务人员自主取数用数的能力。

2.如何避免“孤军作战”

数据治理之所以称其为“治理”,与企业上下层级间的统一共识、跨部门的协作配合密切相关。企业 治理层参与数据治理目前在大部分企业已达成共识,治理层参与制定企业数据战略决策,评议并决策数据 管理工作中的重大或争议事项。在实务工作中,治理层的参与形式主要是定期或不定期召开的数据治理相 关会议,更重要的是在会议过程中“有事可议”并形成决策事项。这就要求数据归口管理部门收集并整理数据管理工作中的重大事项或争议事项,提请企业治理层进行决策,形成决策事项的落实台账,并跟进执 行情况。

企业设置数据归口管理职责,通常存在三种模式。一种是单纯行使数据管理职责,另一种是整合数据 应用研发与数据管理职责,第三种是数据底座建设、数据应用研发与数据管理职责三合一。这三种模式各 有优劣,企业可根据自身数据能力成熟情况与资源分配进行排列组合。同时,我们也认识到,这三种模式 都有一个共同点,即数据归口管理职责,往往不在产生数据的部门,也不在最终应用数据的部门。数据管 理具体工作琐碎而细致,同时又责任重大,数据归口管理职责按数据的业务性质分配具体的数据标准维 度、数据质量问题修正等工作,其优先级往往低于一般的业务作业。一旦出现数据质量问题导致业务损 失,又出现相互推诿的情况。

以银行业数据治理中的监管报送数据质量管理为例,近几年监管机构对报送数据的质量要求越来越 高,因监管数据质量产生的行政处罚成为悬在各家银行头上的“达摩克利斯之剑”。监管报送的目的是为 了收集反映银行保险机构经营情况和风险状况的数据,而数据由业务部门办理业务记录沉淀下来以后,经 信息系统加工汇总,根据监管的各类报送要求规范进行映射转换,由相关部门复核后,由数据管理部门或 者监管报送归口部门报送至监管处。如原银保监的检查分析系统(Examination and Analysis System Technology, EAST),需要银行报送各类客户数据、账户数据、合约数据、交易数据,业务部门需要理解相 应的报送口径,识别该类数据在哪些源头系统的哪些业务流程中产生,数据开发部门需要根据监管的规范 要求对源头系统中的数据进行标准化转换,数据管理部门对整个过程进行管理监控,不仅需要组织对监管 口径进行解读,还需要开展必要的质量校验,一方面满足监管的基本规则要求,另一方面还需要满足各表 之间的关联校验以及不同报送的数据校验,并对出现争议的问题组织管理层进行决策。因此,数据治理并 非是单一部门的事情,针对全行数据的创建采集、处理应用、处置销毁整个路径上不同部门所承担的职 责,以及数据从源头系统到数据平台进行映射转换、到报送系统整个空间路径上分工不同,需要各部门相 互协同共同完成高质量数据报送。

数据治理齐抓共管,需要明确数据管理、数据资源供给和数据产品消费这三者在数据价值链条上的各 自权属和价值收益,转变数据管理只有“责任分派”,没有“权属收益”的状况。建立企业内数据权属类 别和权属分配原则,以权属为桥梁,权属与责任相匹配,权属与收益相挂钩,从而调动各方参与数据管理 的积极性。根据“数据二十条”数据确权原则可以包含以下内容。

“数据二十条”定义的数据资源持有权,数据加工使用权和数据产品经营权,并且倡导“平衡兼顾数 据内容采集、加工、流通、应用等不同环节相关主体之间的利益分配”,“数据要素收益向数据价值和使 用价值的创造者合理倾斜”的原则,在企业内部同样适用。数据资源持有权对应数据创建生产的环节,通 常是某一业务的主管部门,其需要落实源头数据质量管控措施;数据加工使用权对应数据应用的研发部 门,包括前面论述的在数据加工环节落实数据管理需求;数据产品经营权对应在业务场景在使用数据产品 进行业务分析决策的业务部门,并且需要对使用效果进行收集和反馈,保持数据产品的生命力。数据应用 的价值通过归因逻辑分配至各个角色,适当体现在部门或岗位绩效之中,数据应用的价值成效,通过各参 与方的权属分配,落实具体的各参与方的数据管理职责,“以用促管”使得数据管理工作更加深入业务经 营环节。 

3.如何体现“物有所值”

数据治理工作类似房屋装修中的“隐蔽工程”,作用不可或缺但显性化的成效难以体现,或是短期投 入与长期收益之间的错配,让数据治理是否“物有所值”存在质疑。数据治理工作的成效,可以从三个方 面体现:

数据质量改善: 数据质量管理是数据治理的生命线,也是评价数据治理成效最重要的维度。数据质量改善成效可以从 三个子维度进行评价,即数据标准偏离情况、数据业务质量达成情况以及用户评价,可以建立以下评价指 标,包括数据资源内容空值率、数据内容查得率、质量检核规则通过率、元数据内容空缺数量、数据业务 真实性、数据业务完整性、质量用户评价等。

数据研发效能提升:侧重考察数据治理对数据研发时效性、有效性、交付质量和成本等维度,评价维度包括数据研发运营 特征、数据研发过程、数据研发交付能力以及数据研发成本等。

数据治理对数据研发过程质量提升、响应 时长缩短以及研发成本降低,是其成效的重要体现。 数据产品业务价值: 数据产品在应用场景中发挥的业务价值,是数据治理的终极目标, 也是数据资源认定为数据资产的 前提条件。业务价值中多少比例可以归因于数据治理,这个还有待探讨和实践,但两者呈现强烈的正相关 性,这一点是毋庸置疑的。业务价值的评价维度包含了对数据应用质量的评价和数据应用所达成的业务收 益的评价。前者包括应用范围、应用质量和应用热度等维度,后者包括业务创新、收入增长、成本降低、 风险管控等价值认定,还包括了数据应用带来的社会责任、环境责任的评价。 企业可以从上述三个维度建立数据治理成效评估体系,以可视化的方式定期生成数据治理综合看板, 在管理层和业务部门宣传数据治理成效,也接受同仁对数据治理工作的监督,形成众人拾柴火焰高的数据 治理文化。

参考报告

2023商业银行数据资产体系白皮书:三位一体,孜资以求.pdf

2023商业银行数据资产体系白皮书:三位一体,孜资以求。本白皮书由上海银行股份有限公司(“上海银行”)、上海数据交易所有限公司(“上海数交所”)、以及德勤企业咨询(上海)有限公司(“德勤企业咨询”)共同撰写,三方共同享有相关知识产权。关于上海银行的声明:本白皮书所作出的分析与判断,仅代表编写者的观点,并不构成任何专业建议或服务。本白皮书受法律保护,转载、摘编或利用其它方式使用本白皮书或者观点的,应注明来源。违反上述声明者,我行将追究其相关法律责任。关于上海数交所的声明:本白皮书版权受法律保护,转载、编撰或其他方式使用本白皮...

查看详情
相关报告
我来回答