金融行业数据处理面临什么挑战？

我来简单介绍一下金融行业数据处理面临的挑战。

1.数据存储的挑战

近年来，金融业的数据呈现爆发增长的趋势，金融机构的数 据存储面临多种问题和挑战，这些数据存储的痛点包括以下几个 方面： 一是数据内容爆炸问题，金融机构每天都产生大量交易、市 场和客户数据，导致数据量急剧增长，挑战存储基础设施的容量 和扩展性。此外数据多样性也存在较大挑战，数据来自不同业务 源、格式和结构，如交易记录、文本、图像等，需要适应多样化 的数据存储和处理需求。

二是数据利用率和弹性伸缩问题，随着数据规模增长，传统 的大数据处理系统由于存储和计算资源往往是紧密耦合的，这可 能导致资源利用率低下，存储的弹性拓展性能也表现不佳，在这 种情况下，如果可以把存储和计算分离出来将有效地解决这些问 题。 三是性能问题，数据规模一旦增长，数据存储性能非常容易 遭受瓶颈问题，目前传统大数据平台架构，任意节点在数据膨胀 后极可能会出现 I/O 瓶颈，影响系统性能。 四是数据安全与高可用。金融数据涉及敏感信息，需要严格 的安全措施，以保护客户隐私和符合监管要求，增加了存储的复杂性，此外数据存储需要高度的系统可用性和容错性，存储系统 必须具备故障恢复机制，以防止数据丢失或业务中断。

当然，数据存储面临的挑战并不止这些。最近几年，金融业 为了应对越来越复杂的存储难题，许多机构尝试采用了存算分离 的数据架构，用以应对海量数据的存储痛点并取得了非常好的效 果。存算分离技术是一种在大数据处理和存储领域的架构设计理 念，它将数据的存储和计算过程分离开来，使得存储系统和计算 系统可以独立进行扩展、优化和调度。这种技术能够提高资源利 用率，提升系统性能，降低成本，保障数据安全，并提高系统可 扩展性。金融业不同的组织通过实践证明，存算分离具有提高资 源利用率、系统性能、扩展性，降低数据冗余，保障数据安全， 以及简化任务调度等诸多优势，可以帮助金融业更好地应对大数 据时代的挑战。

2.数据计算的挑战

在金融行业，数据计算是关键的业务部分，金融行业始终在 追求速度更快、性能更高的数据计算能力，以满足较为严苛的数 据分析、时效性等方面的要求。随着金融的业务要求越来越高， 数据计算也面临着许多挑战： 一是海量数据计算压力，随着数据规模的膨胀，给数据计算 也带来巨大的负担，传统数据仓库或原有架构在遭遇海量数据时 会遇到明显的性能瓶颈和高成本问题，因此对于 PB 级的大规模 数据存储，需要一套新的架构来应对数据计算的压力，并且这套架构还需要支持分布式计算和存储，这样用户可以在一个统一的 平台上高效地存储、查询、分析和处理各种类型的数据。

二是实时数据计算能力，不同于传统数据计算，金融业对实 时数据的计算能力要求较高，而且相比于经典数据仓库和普通的 架构，金融实时计算还要求接收和处理各种类型和结构的数据流， 并进一步实现实时数据分析和可视化，以满足金融业快速响应业 务需求和实现实时决策的需求。目前越来越多的金融机构选择数 据湖仓化来应对实时数据计算的挑战，湖仓一体技术不仅能支持 实时数据处理，而且具备分布式拓展和提供统一平台管理数据计 算引擎等多种优点，大幅度提升数据计算的效率。 三是数据分析和挖掘能力，当前金融行业已不再满足停留在 通用的数据计算能力上，还需要实现更高层次的数据分析和挖掘 能力上，对于复杂的数据分析和挖掘一直都是金融行业孜孜不倦 的追求。然后数据仓库以及传统大数据平台架构并不能很好满足 这类需求，存在功能缺失、技术栈复杂、性能瓶颈等各类问题。 目前，许多金融业机构采用湖仓化的架构，已提供了丰富的数据 分析和挖掘功能，如 SQL 查询、机器学习和图分析等，使金融机 构能够从大量数据中挖掘有价值的信息，为业务决策提供支持。

四是弹性计算能力的需求，采用弹性计算能力可以大大提高 数据计算的可靠性和拓展性，极大增强数据计算的性能，目前使 用数据湖仓、容器化或分布式计算等架构已成为金融行业重点探 索和实践的架构。通过这些灵活的弹性架构，可以根据业务需求动态调整计算资源，实现资源的弹性伸缩，既解决了资源利用和 运维成本方面的问题，又提高了资源利用率，并降低了金融业的 运维成本。

3.云化计算的挑战

在金融行业，采用云原生部署的计算引擎模式逐渐成为青睐 的对象，云原生计算的模式为金融行业带来了敏捷性、弹性、成 本效益、安全性、数据分析能力和丰富的生态系统等多种优势， 为金融行业的海量数据处理能力大大新增了丰富且优秀的能力， 因此最近几年许多金融机构纷纷拥抱云原生计算并逐步开展了 实践和业务落地。当然，尽管云化计算后会带来许多优势，但也 并不意味着云化计算这项技术没有风险，事实上云化改造的过程 中也存在着一些挑战。 一是迁移成本，对于已有的传统应用，迁移到云原生计算平 台可能需要进行重构，以适应微服务架构和容器化部署，这可能 会导致较高的迁移成本和风险。这一点目前有经验的大型云厂商 都向客户提供自己的迁移工具，配合专业的人力服务，尽可能地 降低成本。

二是管理运维方面，云原生计算环境通常比较复杂，涉及多 个微服务、容器和网络组件，投入更多的精力进行运维和管理。 从现实情况来看，目前许多金融机构都会选择和一些有技术积累 的大型厂商合作，借助工具和平台有效地补足管理运维方面的能力，使得用户自身不需要关心云原生环境，只需要将大部分注意 力聚焦在业务和数据上即可。 三是技术复杂性上，云原生计算涉及许多新技术和概念，如 容器、微服务、Kubernetes 等。金融行业在采用云原生计算时， 需要投入时间和精力学习这些技术，可能会面临一定的学习曲线。 目前一些国内主流的大型云厂商都会提供相对应的学习路径和 配套设施环境，以帮助金融机构缩短学习时间，尽快实现云化部 署。 因此，虽然云化计算已成为很明显的趋势，但从普遍情况来 看金融机构自身的云化转型是有一些风险的，往往需要借助一些 外部组织的力量，以平稳可靠地实现过渡与改造。

4.融合计算的挑战

近几年，融合计算在金融行业的应用具有巨大的潜力，其独 特而优秀的能力受到了越来越多金融机构的关注，但这项前沿技 术也面临一些问题和挑战： 一是异构数据源处理，金融数据通常来自多个异构数据源， 包括交易记录、市场数据、客户信息等，这些数据源可能有不同 的格式、结构和存储方式，因此在做融合计算的时候需要自适应 这些复杂的数据结构，以便进行跨源分析和计算，有时候还会涉 及数据转换、标准化等问题。 二是计算自适应，不同数据可能需要不同的计算模型和算法， 跨源自适应引擎需要根据数据源的特点和需求，选择合适的计算引擎（如 Spark、Hive、Presto 或其他组件），有时候针对计算 情况还需要选择适合跨源计算的算法，并进行算法优化，以提高 计算效率和准确性。

三是计算效率和监控，融合计算可能涉及多个数据源的计算， 需要有效管理计算任务和资源，以确保计算的效率和速度，这对 融合计算平台提出了很高的要求，此外融合计算因为涉及多个数 据源和计算组件，需要有效的监控和调试方法，以确保计算过程 的稳定性和可靠性。 四是技术整合，融合计算需要整合多个技术和工具，如数据 集成、计算引擎、安全机制等，需要确保这些技术能够协同工作， 不仅如此，技术的整合也需要专业的团队，金融机构需要这些人 才熟悉融合计算的技术和最佳实践，以便有效地管理和操作。 然而，尽管有着一些困难，但越来越多的金融机构开始采用 融合计算的技术和理念帮助组织解决海量数据计算过程中的一 些挑战，并取得了很好的效果。

5.研发运营一体化的挑战

1.数据研发运营一体化（DataOps）金融应用的优势。 数据研发运营一体化（DataOps），通过对数据相关人员、 工具和流程的重新组织，打破协作壁垒，构建集开发、治理、运 营于一体的自动化数据流水线，不断提高数据产品交付效率与质 量，实现高质量数字化发展。采用数据研发运营一体化的优势非 常明显，对于金融行业来说至少带来以下三点改善：一是采用 DataOps 可以提供敏捷数据产品开发流程，通过敏 捷迭代，快速响应需求变化，并实现自助服务，各部门可以主动 利用数据资产。 二是构建企业内的开发治理一体化流水线，通过数据研发运 营一体化流程，把数据质量管控前置到流程中，并在数据治理过 程融入开发流程，这样就有针对性地打造了自动化测试流程，及 时处理问题。 三是建立精细化的数据运营体系，在 DataOps 中可以实现全 数据链路的度量与反馈，基于流程和平台精细化地进行数据的运 营，减少人力成本，并降低运营成本，尤其是海量数据处理的时 候这种运营体系的优越性更为明显。

2.数据研发运营一体化（DataOps）金融应用的问题。 尽管数据研发运营一体化可以为金融业带来许多的便捷和 优势，但在实际调研过程中发现，许多金融机构在实践这项技术 的过程中遭遇到诸多问题，导致许多金融从业者并没有真正享受 到落地数据研发运营一体化带来的金融科技进步，问题如下： 一是技术和工具的缺失，目前较多金融机构还未完全或仅部 分意识到数据研发运营一体化工具的好处，因此并没有真正开展 落地的工作。此外当前市场上出现了不少数据研发运营一体化的 工具，但是许多工具并不符合金融行业的技术特点，因此要真正 提高数据运营效率，需要选择合适的工具，这是众多金融机构需 要面临的首要问题。二是组织变革和调整，实施 DataOps 通常都需要金融机构进 行组织架构调整，各个部门之间必须重新组建数据流程，这样才 能打破数据孤岛，实现数据的整合和共享。更深层的方面，金融 业需要建立数据驱动的文化，推动组织变革，鼓励员工积极参与 数据运营过程。 三是数据思维的转型，许多金融机构依然存在研发治理思维 的固化，研发角色和治理角色比较割裂，导致实际过程中依然存 在分工和不协同的问题，这样就无法有效发挥数据研发运营一体 化工具的作用。 四是人才缺口，金融行业对数据运营人才的需求远大于供应， 尤其是具备金融业务知识和数据技能的复合型人才。当前许多金 融机构在实施 DataOps 过程中，往往优先和相应的 IT 供应商企 业合作，采购工具的同时也寻求技术人力支持，度过适应期，然 后一并投入资源进行金融机构自身的人才培养和引进。

总的来说，当前金融机构普遍需要解决的是选择合适、全面 的数据研发运营一体化工具，以尽快建立流程机制，再逐步推动 组织、思维以及人才的变革与进步。