2025年鲲鹏计算产业分析:一码多芯技术引领国产算力新纪元

  • 来源:其他
  • 发布时间:2025/10/30
  • 浏览次数:149
  • 举报
相关深度报告REPORTS

华为:2025年鲲鹏一码多芯、同辕开发技术白皮书.pdf

华为:2025年鲲鹏一码多芯、同辕开发技术白皮书。鲲鹏计算产业聚焦计算架构创新和开源基础软件的研发,致力于推动鲲鹏生态发展。通过战略性、长期性的研发投入,吸纳全球计算产业的优秀人才和先进技术,持续推进全栈计算技术的创新发展,加快构筑面向多样化计算的全球开源体系与产业标准。基于“硬件开放、软件开源、使能伙伴、发展人才”的策略推动鲲鹏计算产业发展。目前,鲲鹏软硬件联合创新已覆盖国计民生核心场景,主流伙伴核心应用已迁移到鲲鹏,鲲鹏生态进入快速发展期。当前阶段,鲲鹏和x86多平台版本并行迭代成为主要需求,由于两个架构开发生态的差异,如果采用两套流水线分别开发两套代码,则会带来很...

鲲鹏计算产业作为我国信息技术应用创新的重要组成部分,近年来在计算架构创新和开源基础软件研发领域取得了显著突破。本报告聚焦于鲲鹏"一码多芯、同辕开发"技术体系,通过分析其技术理念、开发生态建设现状以及在国计民生核心场景的应用实践,深入探讨该产业在当前数字经济时代的发展机遇与挑战。随着鲲鹏软硬件联合创新已覆盖国计民生核心场景,主流伙伴核心应用已完成向鲲鹏架构的迁移,鲲鹏生态正进入快速发展期,这一进程对我国计算产业自主可控能力的提升具有重要战略意义。

一、一码多芯技术架构实现开发效率革命性提升

鲲鹏计算产业创新性提出的"一码多芯、同辕开发"技术理念,从根本上解决了多架构平台并行开发带来的效率瓶颈问题。传统开发模式下,由于x86与ARM架构开发生态的差异,企业需要维护两套独立的代码库和流水线,这不仅导致重复开发验证工作量大,还使得版本构建和维护效率低下。据统计,这种传统开发模式下的资源浪费可达30%-40%,且版本发布周期往往需要延长50%以上。鲲鹏通过构建基于鲲鹏硬件+openEuler+鲲鹏DevKit+鲲鹏BoostKit的全栈技术体系,实现了"1套代码+1条流水线+多平台版本"的开发新模式,这一突破使得伙伴企业能够持续发布性能领先的商用版本。

在实际应用层面,鲲鹏同辕开发包含代码开发阶段和流水线阶段两个关键环节。在代码开发阶段,通过鲲鹏DevKit、BoostKit开发代码,可以充分应用鲲鹏架构优势,实现性能优化。DevKit应用开发工具支持创建鲲鹏应用工程,涵盖C/C++开发语言,在编码时能够自动匹配鲲鹏加速库函数字典、智能提示、高亮显示等功能。特别是在字典管理方面,支持加速库函数字典的线上自动更新和线下更新,这一特性确保了开发工具始终保持最新的优化能力。而在编程辅助功能上,工具支持鲲鹏加速库函数的悬浮提示、函数搜索,以及编码时的智能联想和高亮显示,这些功能显著提升了开发效率。

在流水线阶段,鲲鹏DevKit以命令行方式实现1小时接入CI/CD,便捷发布多平台版本。这一特性极大简化了传统多平台开发的复杂性,使得开发者能够将更多精力集中在业务逻辑实现上。特别值得关注的是,鲲鹏同辕开发插件支持1小时接入Jenkins、GitLab等主流CI/CD流水线,用户可以在流水线中高效使用鲲鹏迁移扫描、亲和分析、编译、测试、调优等能力。这种极简融入和高效发布的特性,使得鲲鹏流水线搭建及版本发布效率得到质的提升,同时保证了应用性能的开箱即优。

从技术实现角度看,鲲鹏同辕开发的核心价值体现在三个维度:首先是鲲鹏亲和与极致性能,通过鲲鹏流水线使能鲲鹏亲和分析工具、编译器、性能工具等,实现应用性能的显著提升;其次是多架构兼容能力,实现1套流水线同时支持多样性算力版本构建及测试;最后是一码多芯特性,确保一套代码可以支持多个CPU平台。这三个维度的技术优势共同构成了鲲鹏在计算产业的核心竞争力,为国产算力生态的繁荣发展奠定了坚实基础。

二、全栈优化技术体系推动产业应用性能倍增

鲲鹏BoostKit应用使能套件基于鲲鹏硬件、基础软件和应用软件的全栈优化,为各行业应用场景提供了强有力的性能支撑。该套件包含高性能开源组件、基础加速软件包和应用加速软件包,针对大数据、分布式存储、数据库、虚拟化和ARM原生等场景进行了深度优化,充分发挥了鲲鹏架构在内存管理、计算调度等方面的技术优势。通过预置的高性能库和框架,赋能开发者轻松构建适应鲲鹏架构的高性能应用,在同一个构建流程中实现显著的性能提升。

在大数据领域,鲲鹏BoostKit通过OmniRuntime技术实现了突破性的性能优化。OmniData算子下推特性在存算分离场景或大规模存算融合场景下,将大数据引擎的算子下推到存储节点或卸载节点的服务,实现近数据计算,大幅减少网络带宽消耗。测试数据显示,基于TPC-H测试用例,12条算子下推的SQL性能平均提升40%,集成到Hive后,4条算子下推SQL性能平均提升20%。而OmniOperator算子加速采用Native Code实现大数据SQL算子,通过列式存储和向量化执行技术,结合鲲鹏加速库,在TPC-DS 99条SQL验证中实现Spark性能提升30%。这些优化技术共同构成了大数据处理性能提升的完整解决方案。

在分布式存储方面,鲲鹏BoostKit通过存储算法加速库和存储Ceph加速库等特性,有效解决了开源Ceph存储性能低、成本高的关键挑战。EC算法基于华为自研向量化EC编解码方案,通过同构映射将EC编码过程中所需的高阶有限域GF(2^w)乘法操作替换为二元矩阵乘法,进而将查表实现的复杂有限域乘法操作替代为XOR操作。实测数据显示,相比开源EC算法,KSALEC算法编码性能提升1倍以上。同时,智能写Cache特性通过IO直通、QoS控制策略等技术,在块存储随机写场景下实现IOPS性能提升20%以上,为存储系统提供了强有力的性能保障。

数据库优化是另一个重点领域,鲲鹏BoostKit通过MySQL可插拔向量化分析引擎、无锁优化等技术创新,深度优化了OLAP查询分析效率和OLTP在线交易事务处理能力。MySQL并行查询优化支持MySQL 8.0.20、MySQL 8.0.25版本,通过并行查询优化实现查询性能提升超过1倍,性能提升效果与并行度直接相关。而MySQL无锁优化在OLTP场景下,通过改造使用无锁哈希表维护事务单元,减少锁冲突,提升并发度,实现在Sysbench写场景下性能提升20%。这些优化技术使得鲲鹏平台在数据库应用场景中展现出卓越的性能表现。

在虚拟化领域,鲲鹏BoostKit通过OVS流表网卡加速等特性,将OVS转发流表卸载到网卡硬件上,利用硬件的查表能力提升流表查找速度,实现虚拟化网络转发性能提升10倍。同时,虚拟化DPU卸载支持网络和存储的加速,将OVS-DPDK、SPDK等软件卸载到DPU卡上运行,节省物理机CPU负载,提高虚拟机密度。这些创新技术为云计算环境下的资源利用效率提供了全新解决方案,推动虚拟化技术向更高性能方向发展。

三、开源生态建设构建可持续发展技术底座

openEuler作为鲲鹏计算产业的核心操作系统底座,已经发展成为面向数字基础设施的AI原生操作系统,支持服务器、云计算、边缘计算、嵌入式等多元应用场景。截至目前,openEuler社区及其他第三方开发者共同提供了超过3.5万个丰富易用的软件包,形成了完整的开源软件供应链体系。从用户场景出发,openEuler回溯梳理相应的软件依赖关系,理清所有软件包的上游社区地址、源码和上游对应验证,完成构建验证、分发、实现生命周期管理,为鲲鹏生态提供了可靠的技术支撑。

在开发者工具层面,openEuler DevStation开发者工作站的推出显著提升了开发效率。该工作站预装VSCODE,并集成EulerMaker构建系统,支持增量/全量构建,分层定制与镜像定制的能力。EulerMaker基于软件包变化并结合软件包依赖关系,分析影响范围,得到待构建软件包列表,按照依赖顺序下发并行构建任务。这种构建方式使得社区开发者及合作伙伴能够基于统一构建系统建设自己的用户个人仓、OS核心仓,定制出适合自己需求的场景化OS。特别是在分层定制方面,支持在构建工程中基于spec或yaml叠加配置层模型,实现针对软件包版本、patch、构建依赖等内容的定制,这一特性极大增强了系统的灵活性。

EulerPipeline流水线为社区开发者提供了强大的持续集成能力,支持Package-CI、Code-CI、Repo-CI等6类模板,实现模板+任务按需编排,提供40+原子化SaaS服务。矩阵测试功能支持一次声明、多种组合并行运行,提供矩阵总览视图,使开发者能够快速掌握多OS、多架构运行结果。更为重要的是,一键复现功能通过Web控制台登入复现环境调测,同时支持通过自有终端软件利用公钥登入复现环境调测,这一特性极大简化了问题定位和调试过程。而结对联调功能支持多人共享终端,使能多用户结对调测,促进了开发者之间的协作效率。

在安全治理方面,openEuler建立了完善的CVE Manager漏洞管理体系,对安全漏洞进行感知、收集、处理以及披露。从合作漏洞感知系统获取公开漏洞感知信息,通过机器人在码云平台对应项目软件包仓创建并维护漏洞相关记录,漏洞修复后进入通用版本构建发布以及安全公告发布流程。openEuler使用CVS Sv3进行漏洞评分,确保安全公告内容的准确性和及时性。这种系统化的安全治理机制为鲲鹏生态的可靠运行提供了坚实保障。

操作系统迁移工具x2openEuler的发展也值得关注。该工具支持对CentOS、Redhat、Ubuntu、SUSE进行原地迁移,具有批量化原地升级能力,可以批量添加待升级节点进行迁移分析,设计迁移方案并对兼容性问题进行迁移适配。特别是在Windows .Net Framework Web场景业务无适配迁移方面,x2openEuler能够帮助客户把应用程序迅速迁移至openEuler上,这一能力对于推动openEuler生态普及具有重要意义。随着更多企业从传统操作系统向openEuler迁移,鲲鹏计算产业的生态基础将得到进一步巩固和扩大。

四、产业融合应用加速数字经济创新发展

鲲鹏计算产业在国计民生核心场景的广泛应用,标志着其技术成熟度和生态完善度达到了新的高度。目前,鲲鹏软硬件联合创新已覆盖政府、金融、能源、交通等关键领域,主流伙伴核心应用已完成向鲲鹏架构的迁移。这种广泛的应用覆盖不仅验证了鲲鹏技术路线的可行性,更为数字经济发展提供了坚实的算力基础。特别是在当前数字经济快速发展背景下,鲲鹏计算产业的支持对于推动产业数字化转型具有重要战略意义。

在机密计算领域,鲲鹏BoostKit机密计算TrustZone套件基于ARM TrustZone技术,包含华为自研TEE安全操作系统,为行业客户构建机密计算解决方案提供了完整的技术支撑。iTrustee基于TrustZone技术实现了整套安全解决方案,包含正常模式的客户端应用、安全模式的可信应用、安全模式下的可信操作系统。该技术已应用于金融大数据数据挖掘场景,保证数据处理过程中的机密性,同时在一体化大数据中心场景中确保数据可信交易。值得注意的是,TEE侧安全内存支持按需配置,最大可配512GB,这一容量优势使得该技术能够支持大数据、AI等大型应用运行,为敏感数据的安全处理提供了强有力的技术保障。

HPC高性能计算是鲲鹏计算产业另一个重要应用领域。鲲鹏通过全栈架构创新、软硬件自研、基础软件优化和行业应用性能调优等技术,构建了全栈高性能计算基础平台。多瑙调度器提供大规模集群下的高资源利用率、高吞吐量的作业调度能力,最大支持3000节点/38万核超大规模集群调度,端到端吞吐量达到每小时400万+个作业,资源分配率达到90%+。这种强大的调度能力为科研创新和行业数字化提供了坚实的算力基础。特别是在HPCKit集成方面,华为高性能通信库、鲲鹏数学库、鲲鹏毕昇/GCC编译器等深度优化软件的组合使用,使得HPC领域应用能够实现极致性能。

在人工智能场景,鲲鹏推推理加速套件SRA_Inference和鲲鹏AI库KAIL为AI应用提供了强有力的算力支持。鲲鹏TensorFlow算子库通过SIMD指令、多核调度等方法,提高CPU侧算子性能,减少CPU侧计算资源的占用,从而提高在线推理端到端整体的吞吐量。测试数据显示,在搜索、推荐、广告等推理场景中,该技术能够显著提升处理效率。同时,鲲鹏召回算法库SRA_Recall包含KBest和KScaNN算法,通过量化、向量指令等方法优化了最近邻搜索的性能和精度,为多维向量近似最近邻搜索提供了高效的解决方案。这些AI相关技术的突破,为智能制造、智慧城市等AI应用场景的落地提供了重要技术支撑。

随着5G、物联网等新技术的发展,边缘计算场景对算力提出了新的需求。鲲鹏计算产业通过轻量级容器引擎iSulad和轻量级虚拟化技术StratoVirt,为边缘计算场景提供了优化的技术解决方案。iSulad作为由C/C++编写实现的轻量级容器引擎,具有轻、灵、巧、快的特点,不受硬件规格和架构限制,底噪开销更小,可应用的领域更为广泛。而StratoVirt基于Linux内核虚拟化技术,在保持传统虚拟化的隔离能力和安全能力的同时,降低了内存资源消耗,提高了虚拟机启动速度,特别适用于微服务或函数计算等Serverless场景。这些技术创新使得鲲鹏计算产业能够更好地满足边缘计算场景的特殊需求。

以上就是关于鲲鹏计算产业的分析,从技术架构、性能优化、生态建设到产业应用四个维度全面展现了鲲鹏计算产业的发展现状和未来趋势。通过"一码多芯、同辕开发"技术理念的落地实施,鲲鹏计算产业正推动着国产算力体系的创新升级,为数字经济发展提供坚实的算力基础。随着openEuler操作系统的持续完善和鲲鹏BoostKit应用使能套件的不断优化,鲲鹏生态在性能表现、开发效率和产业应用广度方面都取得了显著进展。

从发展前景来看,鲲鹏计算产业在国计民生核心场景的深度应用将继续扩大,其技术优势将在更多行业领域得到验证。特别是在数字经济快速发展、算力需求持续增长的背景下,鲲鹏计算产业的技术创新和生态建设将对我国信息技术应用创新产生深远影响。未来,随着更多合作伙伴加入鲲鹏生态,以及技术体系的持续完善,鲲鹏计算产业有望在全球计算架构创新中发挥更加重要的作用。

编辑:666知识控
  • 相关标签
  • 热门文档
  • 热门文章
  • 本年热门
  • 本季热门
  • 本月热门
  • 本年热门
  • 本季热门
  • 本月热门
分享至