新技术如何赋能数据中台？

数据中台产业发展过程中，涌现出大量新的数据应用技术，很多新概念爬上了Gartner曲线，比如湖仓一体、数据网 格、数据编织、dataops，下面来讨论一下新技术如何赋能数据中台。

1、湖仓一体：数据平台一体化趋势新起点

湖和仓是大数据架构两种设计取向，在湖仓一体出现前是并行存在。数据湖优点是能够保障数据完整 性，灵活度高，但由于它的包容性强，可存储任何形式和格式的数据，数据不够规范，一旦没有治理好 容易变成数据沼泽，维护成本较高；而数据仓库存储的都是结构化数据，支撑业务决策的效率更高，其 特点是需要事先建模，这也意味着数据仓库的启动成本要高于数据湖，且难以快速支持业务的变化。由 于两者各自特有的优势和局限性，伴随企业数据需求不断变化，经常会陷入到架构选择的困境。

湖仓一体简单理解是打通数仓和数据湖两套体系，构架一套有机的大数据技术生态体系，在数据湖低 成本的数据存储架构之上，弥补Hadoop下数据湖实时处理数据的缺失，降低事后数据治理难度；又继 承了数据仓库的数据处理和管理功能，提供实时处理多引擎、多数据类型能力；可以兼顾数据湖的灵 活性和云数据仓库的成长，能够降低大数据分析的技术复杂度，同时满足了用户对性能和易用性的更 高要求。

数据中台建设在过去多采用湖仓分离的方式，极易造成重复的数据开发成本，以及两套存储共存数据 冗余、数据不一致等风险。选择湖仓一体作为更适用的数据存储架构，可以规避上述问题，具备完善的数据存储及高性能的联机处理能力。

2、Dataops：数据中台落地实践过程中的加速器

数据中台项目失败的原因多数离不开：数据组织形式越来越复杂，数据链路变长，团队协作要求变高， 新的数据需求变多……亟需新的开发与协作模式来提升数据供给效率，而Dataops是面向数据全生命周 期，以价值最大化为目标的最佳实践，聚焦于从数据需求输入到交付物输出的全链路过程，可以以一种 更敏捷的方式提高企业数据开发、交付和协同效率，提高数据分析的质量并缩短数据分析的周期，快速 满足分析需求和业务需求。

其次，虽然Dataops与数据中台两者在解决问题的方向上类似，都希望能更快、更好地实现数据价值， 实现数字化运营。但前者强调的是数据应用的开发和运维效率提升，后者强调的是数据统一管理和避免 重复造轮子，是对数据能力的抽象、共享以及复用，也就是说数据中台描述最终目标，而DataOp能够 为其提供路径保障的方法论，帮助数据应用的开发和管理更加高效，是数据中台区别于传统企业数据架 构的核心差异。

未来，Dataops因其快速敏捷、开放协同的特性，能够助力数据中台建设获得更高质量的数据，更智 能的数据管理，加快企业数据洞察的步伐。

3、数据编织：连接数据的管理架构

统一语义和持续洞察力：数据编织使用先进的人工智能、机器学习算法连接不同数据源的数据以及数 据之间的业务关系，建立知识图谱，提供持续分析能力，使业务用户能够轻松发现和访问相关的数 据，企业能更容易地获得高质量的数据，从而能更快和更精确地洞察企业数据。

统一治理和审计合规：数据编织“连接”数据而非“搬运”数据，省去复杂、耗时、耗神的ETL/ELT过 程。本地化管理企业内部、外部、云端的数据资产的元数据；通过AI/ML技术，自动化应用策略、使得审计合规性和识别系统中的潜在数据漏洞变得更加容易；通过整合所有数据环境，落地整体数据治理和 安全流程集中且一致的治理体系。

自动化和动态集成能力：数据编织的设计和部署天然具备对跨分布式的多种基础设施环境的数据进行 集成的能力，为孤立的数据源提供自动创建数据集成管道，支持ETL、web服务、API接口等多种集成 管道。通过预定义的数据集成策略，自助、动态获取最新的数据资产，让企业的数据资产可见、可 查、可管、可用。

自动编排和统一数据生命周期：数据编织采用人工智能、机器学习、数据湖以及其他平台和技术，对 不同数据源进行自助编排，确保企业全面了解所有数据环境中的数据管道并支持数据的统一生命周期 管理，包括数据驱动应用的开发、运营、测试和生产发布。