2022年金融机构外部数据管理实践白皮书 金融机构外部数据全流程管理分析

  • 来源:大数据技术标准推进委员会
  • 发布时间:2022/08/25
  • 浏览次数:2329
  • 举报
相关深度报告REPORTS

金融机构外部数据管理实践白皮书.pdf

金融机构外部数据管理实践白皮书。2020年,中共中央、国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》,将“数据”与土地、劳动力、资本、技术并列为五大生产要素,提出“加快培育数据要素市场”,标志数据已成为经济发展赖以依托的基础性、战略性资源。为快速响应国家对于数据要素市场建设的要求,承接数据要素交易流通的发展需求,具有天然数据资源的金融机构需要利用自身优势,推广数据的创新利用,加强内、外部数据的融合应用,促进数据生产要素的价值释放。随着我国进入信息化时代,金融机构逐渐形成以“技术+数据”为驱动,以金融科技为重点...

一、金融机构外部数据管理概述

(一)外部数据的概念

金融机构外部数据指为实现金融机构特定业务目标,通过采购、 合作、自主采集等方式,由金融机构外部引入的数据。 金融机构外部数据管理指金融机构通过构建组织架构、明确各 部门职责要求、建立和实施系统化制度、流程和工具等方式,针对 外部数据进行引入、应用、共享和退出的全流程管理,确保外部数 据的合法引入、合规使用、充分共享和正常退出,并在经营管理中 最大化发挥外部数据价值的动态过程。

(二)外部数据的管理原则

外部数据管理的主要原则包括合法合规性、持续稳定性、共享 连通性、本源权威性、渠道多样性和成本合理性。

合法合规性是外部数据管理的基本原则,指所有外部数据的获 取、使用必须合法合规,符合国家相关法律法规、政府相关部门规 章、监管要求以及相关国家标准和行业标准。涉及个人用户的外部 数据需在获取与使用前取得其充分授权,并遵循合法、正当、最小 必要原则,不得过度处理数据。

持续稳定性指外部数据的引入需要确保数据源具备稳定的数据 接口,数据源可保证一致的数据质量,使数据具有高可用性与可持 续性。

共享连通性指外部数据为避免重复引入,在接入各业务系统前 统一通过外部数据管理系统接入,以确保数据在无合作协议限制前提下可实现金融机构全域范围内的共享,实现内部数据的集成整合。

本源权威性指应首先考虑从数据权威部门引入一手外部数据源, 并在引入前进行数据验证与测试以确保数据可用,价值有效释放。

渠道多样性指在满足业务需求的前提下,可通过多种形式获取 外部数据,包括公共公开的数据、共享银政的数据、银企合作的数 据、对接子公司的数据以及外部采购的数据等。

成本合理性指外部数据引入应充分考虑成本效益及投入产出合 理性,实行成本计量及费用分摊机制,以便更加合理地对外部数据 进行集约化管理,更加准确地计量经营绩效。

以上为外部数据管理一些常见原则,各金融机构可以根据自身 业务和管理需要,有选择地制定外部数据管理原则。

(三)外部数据的分类

数据分类是管理体系合理规划、数据安全合理管控的基础,是 迈向数据精细化管理的重要一步。对数据进行分类不仅是加强数据 交换共享、提升数据资源价值的前提条件,也是数据安全保护的必 要条件。对于复杂难懂、体量庞大的外部数据而言,如何实现有效 的分类管理尤其重要。合理的外部数据分类一方面帮助金融机构细 化外部数据管理的程度,从引入、使用、共享到退出环节明确数据 源垂直管理,优化平台工具的建设;另一方面,分类以及在此基础 上的分级帮助金融机构厘清数据保护重点,对不同级别的数据实施 不同的保护,保障重要敏感数据的安全,有助于防控数据风险、保 障数据交易、释放数据价值。

当前,部分银行机构从自身业务实践出发,根据不同的实现目 的和需求从各角度进行了分类,下表是其中较为成熟的分类体系代 表,分别从数据种类、数据主体、数据服务方式三个维度对常见外 部数据进行分类。

二、金融机构外部数据全流程管理

重塑外部数据管理流程,深耕外部数据应用,保障外部数据安 全合规,促进外部数据降本增效已成为当前金融机构的热门话题。 然而,外部数据在机构内部落运用时常面临需求重复、标准不一、 共享不充分等问题,加之外部监管对于数据安全的合规要求不断增 加,构建具备安全屏障的外部数据管理流程和机制将是金融机构外 部数据管理的大势所趋。从用户角度,需要在享受大数据所带来的 红利同时保障个人合法权益不受侵害;从金融机构角度,需要在合 法合规的基础上通过使用准确、高可用的外部数据丰富优化数据产 品服务,有效支持业务创新和发展。

本章将根据金融行业的实践经验阐述外部数据的管理模式、引 入流程、应用管理以及退出流程。

(一)外部数据的管理模式

外部数据管理主要分为自主分散、统分结合以及统一集中三种 模式。自主分散模式指金融机构的外部数据由内部各个需求部门自 行管理。统分结合模式指金融机构对外部数据统一管理,包括维护 和发布外部数据目录,管理基础平台工具等,需求部门在统一管理 下根据各自需求引入并应用外部数据。统一集中模式指金融机构内 部明确外部数据归口管理部门,并授权其对金融机构所有外部数据 进行全流程集中管理,包括需求、预算、引用、应用和退出等。

为加强外部数据资源的集约化管理,实现外部数据的共享应用, 进一步发挥外部数据的价值,统分结合模式与统一集中模式已逐渐成为外部数据管理的主流模式,其主要优势有以下几点:

整合需求,避免重复

统一管理的模式下,机构可将所有外部数据需求进行整合论证, 合并去重,最大限度的确保数据需求的合理性,避免重复引入造成 不必要的资源浪费。

规范流程,提高效率

统一管理的模式下,机构可从顶层出发对外部数据全流程进行 规范管理,通过组建专业的外部数据管理团队专注于外部数据管理, 提高外部数据引入和应用效率。

一点接入,充分共享

统一管理的模式下,机构通过建设配套的外部数据管理系统, 实现外部数据在机构层面的统一接入,最大限度实现数据共享;同 时,通过对外部数据进行调用情况的统计分析、系统对账、费用监 测等,最大程度掌握外部数据的应用价值。

双重约束,确保安全

统一管理的模式下,机构通过建立统一的管理制度、流程以及 系统技术手段对外部数据全流程进行双重约束,进而确保数据引入 的合法合规以及数据使用过程中的安全。

基于以上优势,越来越多的金融机构在统一集中管理和统分结 合模式下构建全新的外部数据管理流程,覆盖外部数据的引入、应 用和退出。

(二)外部数据的引入流程

外部数据在引入阶段主要包括需求申请、需求评估、数据供方 评估、数据验证测试、预算申请以及采购流程。本章将主要参考统 一集中管理模式进行介绍。

需求申请

首先,按照外部数据的覆盖范围,可将需求分为全域型和区域 型两类,全域型需求指全机构适用的外部数据需求,一般由归口管 理部门汇总整合、归并去重、充分论证,之后,将统一进行数据采 购、接入和共享使用;区域型需求指仅适用于地方的外部数据需求, 一般通过归口管理部门授权后由分支机构自行进行采购,接入和共 享使用。

其次,按照外部数据的需求获取方式,可将需求分为申请和征 集两种,需求申请指各部门可以根据业务需要,收集部门内提出的 外部数据需求,论证后提交至外部数据归口管理部门审核。需求征 集指外部数据归口管理部门通过与行业间以及数据供应商的交流, 及时掌握市场动态,将时下新颖的数据和应用场景推荐给各业务部 门,主动收集相关数据需求。

需求评估

各部门提交至外部数据归口管理部门的需求内容应包括需求内 容描述、应用场景描述、数据使用量预估、效益预估、业务可行性 方案和安全保障措施,其中需求内容描述又包括数据字典、数据范 围、更新频率、数据质量要求以及售后服务要求等要素。外部数据 归口管理部门将根据数据测试情况、初步询价结果、效益预估以及 业务可行性分析等来判断是否采购数据。

数据供方评估

在确定外部数据需求后,需要对数据供应商进行调研评估,包括公司资质、数据合法合规、数据产品质量、数据供应能力、合同 履约能力、数据价格与售后等方面。评估一般由外部数据归口管理 部门、业务部门等联合执行,目的是掌握当前数据供方市场状况和 业务用数情况,对符合要求的供应商进行合作准入,建立并维护 金融机构的外部数据资源库。

数据验证测试

在确定了外部数据引入需求和供应商后,还应组建专门的测试 团队对引入的数据进行验证测试,通过内、外部数据共享融合的方 式,对一定数量的外部数据进行测试,用以验证外部数据的完备性、 时效性、准确性、合规性和安全性。测试团队应包含外部数据管理 人员、业务需求管理人员、数据分析人员,必要时也可包含采购人 员与和技术人员。 需要注意的是,金融机构在测试前应与数据供方签订保密协议, 约定其不留存、利用、转让、泄露金融机构提供的样本数据以及获 得的查询结果。

预算申请

预算申请一般分为定期申请和随时申请两种模式。定期申请指 财会部门约定本年度预算申请的时间和周期,外部数据预算应在相 应的时间内完成申请。随时申请指财会部门在年初框定外部数据概 算,在概算范围内,外部数据预算可以根据业务需要随时进行申请。 相较而言,随时申请的模式更灵活,更有助于提高外部数据的引入 效率。

采购流程

外部数据的采购需要严格按照各金融机构相关的采购制度和流 程执行。通常来讲,采购流程包括采购申请、采购实施、合同管理、 费用结算、服务验收五个主要步骤。具体由业务部门向外部数据归 口管理部门统一提交并等待审核;归口部门根据采购预算金额批复 情况规定数据的采购方式,并牵头起草采购合同,合同经法律、内 控合规等相关部门审核后提请签署流程;合同签署方依据合同进行 服务验收并执行费用支付。

(三)外部数据的应用管理

统一集中管理模式下,外部数据将接入到外部数据管理系统, 并将其作为统一入口和出口,负责外部数据的接入与共享。

外部数据的接入

金融机构外部数据接入的主要方式是系统对接,进一步可分为 数据直连、联合建模和隐私计算三种模式。数据直连模式指双方通 过建立数据接口进行传输,包括实时联机查询和批量数据传输。联 合建模模式指金融机构与外部政府部门或第三方企业合作建模并在 此基础上进行数据共享,避免了数据向第三方传递而产生的衍生问 题,目前在数据共享领域中的占比日趋增大。隐私计算模式指包括 采用联邦学习、多方安全计算、隐匿查询在内的隐私计算等新接入 技术。

部数据的传输

外部数据传输包括线下传输和线上传输,随着各机构对数据安全需求的增加,系统直连成为当前外部数据传输的主要方式,一般 分为网络专线和互联网传输两种形式。网络专线传输指金融机构与 供应商之间通过运营商建立独立的网络连接通道,互联网传输指金 融机构与供应商之间通过互联网建立网络连接,并通过软硬件加密 的方式传输数据。

外部数据的存储

外部数据的存储需根据数据遭到破坏后的影响范围和所造成的 影响程度来确定存储的安全等级以及相关技术手段,并确保数据可 在生命周期结束后及时被销毁。 统一集中管理模式下,外部数据应进行单独存储。其中数据直 连模式下的实时联机查询,应统一由外部数据管理系统对外提供服 务接口,并在合法合规的前提下留存查询结果;数据直连模式下的 批量数据传输,应统一由外部数据管理系统接入后传输至数据仓库 或数据湖进行存储。

个人类外部数据原则上应仅在业务办理时使用,业务流程结束 后应及时删除查询结果数据,非必要不得留存。如确有必要留存个 人类外部数据的,应明示留存内容、用途及期限,取得客户授权同 意,并按照“谁留存谁负责”的原则,采取必要措施保证数据安全, 并将留存记录归档备查。 

外部数据的共享

外部数据的共享通常指同一条数据在有效期内由不同部门进行 二次及以上的查询。外部数据的共享应由各业务部门发起,提交共享需求至外部数据归口管理部门进行审核。待审核通过后,数据由 外部数据管理系统或者数据中台统一提供,当数据共享内容以及数 据共享范围发生变化时,需要业务部门再次提出申请。外部数据管 理系统可提供数据共享情况统计分析功能,辅助数据共享部门定期 汇总统计数据,跟踪数据使用情况以及数据应用成果,结合各机构 数据资产评估方法撰写投入产出分析报告。

外部数据的共享同样需要遵循“最小必要”原则,共享范围应 限于业务实现目的。个人类外部数据原则上应通过“可用不可见” 的方式进行共享,相关信息原则上应嵌入到系统化的业务流程或模 型中使用,非必要不得采用个人查询的方式。

内外部数据的融合

内、外部数据的融合可以最大发挥数据本身的使用价值,数据 融合可以进一步分为数据清洗、数据关联和数据融合等步骤。由于 外部数据和内部已有数据的格式、标准、存储方式等存在一定差异, 需要多平台、多技术配合对外部数据进行清洗和整理,包括统一标 准的码值转换、合并同类型去重、剔除干扰项,数据标准化、格式 化等操作。数据在融合之前还应进行关联,企业数据可通过企业名 称和企业统一社会信用代码进行关联整合,并将其作为查询条件; 个人数据可通过姓名、身份证、手机号三要素进行关联并将其作为 查询条件。在实现外部数据与内部数据实体之间的关联后,可将数 据进行整合并形成新的数据视图。

外部数据的质量监测

外部数据质量指引入的外部数据能够真实、完整地反映实际情 况的程度。外部数据质量监测指依据质量规则对外部数据质量进行 检查、核对,量化外部数据质量水平并识别质量问题的过程。监测 分析应由外部数据归口管理部门定期执行并形成质量监测报告,此 外,各业务部门也应在使用过程中将发现的质量问题及时反馈至外 部数据归口管理部门进行汇总。

外部数据的评估

外部数据评估指对数据使用效果进行深度分析和评估,由各业 务部门基于外部数据管理系统提供的统计结果以及各机构数据资产 评估方法进行分析,并将评估结果提交至外部数据归口管理部门进 行汇总,以此作为开展下一年度外部数据需求分析、费用申请及数 据采购等多项工作的重要依据。

外部数据异议处理

外部数据异议指数据主体在办理业务过程中认为金融机构使用 的外部数据存在不准确、不一致或数据缺失等问题而提出的更正要 求,异议内容提出人称为异议申请人。 使用外部数据的业务归口管理部门受理外部数据异议申请,对 下级机构提出的异议申请进行审核,并将审核结果反馈至归口管理 部门,归口管理部门应以审核结果作为依据,受理、核查并回复业 务主管部门提出的外部数据异议申请。 对于审核同意的异议处理申请,外部数据归口管理部门将协调数据供应商完成数据更正,更正完成后及时通知异议申请人。 外部数据异议处理指受理异议申请、开展异议核查、异议更正 并回复异议申请人的过程。每件异议从受理到处理结束的整个过程 应在规定时限内完成。

(四)外部数据的退出流程

外部数据退出分为正常退出和异常退出。正常退出指与外部数 据供应商合作到期且无相关数据需求的自然退出;异常退出指与外 部数据供应商合作期间出现政策规制、供方履约异常、重大违法违 规、严重舆情以及其他不可抗力问题而导致的强制退出。 外部数据需要建立统一的退出管理机制和流程,在每份外部数 据采购合同到期前一段时间,外部数据归口管理部门应针对此数据 再次征集需求,若无续期需求,则应协同相关业务部门开展数据停 止供应影响性分析,并根据分析结果协同相关部门在合同到期后下 线相关数据服务。

三、金融机构外部数据管理保障

本章将以统一集中管理模式为例,从组织架构、制度体系和技术 工具三个方面来介绍外部数据管理的支撑保障流程。

(一)组织架构

组织内部的架构规划和责任分工是外部数据管理全流程的重要 支撑。以“统一规划、集中管理、资源共享、成本分摊”为原则构 建外部数据管理体系,更有利于各业务部门“数尽其用”。 

统一规划:外部数据由外部数据归口管理部门统一规划。 

集中管理:外部数据的需求分析、预算、引入、应用由外部 数据归口管理部门集中统筹。 

资源共享:外部数据属于内部的信息资产,各部门可以根据 业务需求共享使用。 

成本分摊:各部门根据业务需求申请使用外部数据资源,并 依据“谁使用谁付费”的原则进行相应的成本分摊。

通常来讲,外部数据管理的组织架构可包括决策层、管理层、 应用层三个层级。决策层一般由金融机构数据治理委员会担任,主 要负责外部数据的战略方向与决策制定。管理层一般包括金融机构 外部数据归口管理部门、采购管理部门、财务管理部门以及审计部 门等,主要负责外部数据的统筹管理与协调资源。应用层一般包括 业务需求部门、法律支持部门以及技术支持部门等,主要负责落实 外部数据管理实践过程中的具体工作并进行协同支撑。

(二)制度体系

覆盖数据管理生命周期的制度体系是外部数据管理全流程的重 要基础。完整的外部数据管理规范可以保障管理工作的可依、可行 与可控。 金融机构应根据自身情况制定《外部数据管理办法》1,《办法》 应规定外部数据管理组织管理与职责分工,定义外部数据归口管理 部门,规范外部数据管理全流程。其次,应根据《办法》内容制定 《外部数据管理相关实施细则》进一步规制流程细则与实施指南。

(三)技术工具

金融机构可通过建设外部数据管理系统实现外部数据的统一集 中管理,即一点接入,全机构共享;可通过建设统一的隐私授权系 统,实现全量用户的隐私授权管理。

外部数据管理平台主要通过建立外部数据的统一接入、集中管 控和服务管理,保障外部数据在机构内部使用和共享全流程的安全 合规与便捷高效。平台通常以保障数据安全、降低对接难度为目标, 通过可视化配置方式,帮助金融机构打通外部数据应用的全环节, 有效降低业务成本、减少运转时间,提高业务效率,去除不必要的 流程和障碍,充分高效挖掘外部数据的价值。

隐私授权管理平台是针对金融机构中的隐私数据,特别是从外 部获取的隐私数据所涉及的产品协议和服务合约进行统一管理与维 护的平台。平台通过整合各业务线的用户隐私策略签约信息,实现用户隐私授权的统一管理;通过对隐私策略签约和产品用数情况的 统计,辅助业务部门补全签约场景及产品缺口;通过提供授权模板、 授权信息编辑与查询,完善授权内容与产品服务的一致性。

四、金融机构外部数据总结与展望

数据已经成为金融机构提供差异化服务与数字化风险防控的重 要战略资源,合理引入外部数据,有助于全面地提供数据服务,提 升核心竞争力。加快整合内、外部数据,助力金融行业的数字化转 型,已成为不可逆转的趋势。在国家规划的推动下,在行业政策的 指导下,我们期待外部数据可以发挥更大的价值。

一是明确职责权利,对齐内部管理目标。建立跨部门、跨层级 的外部数据管理组织架构,明确管理角色与职责,构建明确的汇报 线与管理体系;制定外部数据管理的长期目标与工作计划;积极探 索先进的外部数据管理与应用模式,开展人员培训,提高管理效率。

二是挖掘数据价值,优化外部数据资源。掌握外部数据市场动 态,持续更新外部数据资源库,对于政府和其他类外部数据源开展 数据资源分布地图研究,确认权威数据,建立可信度评价体系,助 力外部数据使用的降本增效。

三是持续引进技术,提升数据应用能力。在外部数据管理的过 程中,合理应用联邦学习、多方安全计算和可信计算在内的隐私计 算新技术,在保护数据安全的同时实现多源数据跨域合作;进一步 提升外部数据管理的智能化与自动化水平,降低管理成本。

四是打通管理界限,实现全流程在线化。实现外部数据的线上 管理全流程,不仅使得外部数据可以无阻碍触达前、中、后台业务 系统,也利于配置更全面、统一、适配的数据安全管控措施,为外 部数据管理提供基础保障。


(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)

相关报告
评论
  • 相关文档
  • 相关文章
  • 全部热门
  • 本年热门
  • 本季热门
  • 全部热门
  • 本年热门
  • 本季热门
  • 最新文档
  • 最新精读
分享至