海康威视如何构建核心竞争力？ 

智能物联与工程化能力铸就核心竞争力。

1.从硬件到软件完成智能物联转型

沿场景数字化发展，公司建立了从硬件到软件、渠道到生态的全面解决方案能力。随着安防业务由基础识别逐步转向综合智能物联解决方案，业务内容从硬件识别到软件处理识别信息，再到以识别信息建立系统化流程最终向运营/商业模式智能化转变；随着业务内容变化，公司由最初硬件识别到融入软件进行识别信息处理，再到建立软件与数据架构形成解决方案开发基础，最终到应用大模型挖掘数据价值的基本技术框架，在此过程中制造能力、深入千行百业的网络渠道与真实数据以及与同业形成的生态使各类技术得以工程化落地。

从认识数据、建立数据关系到挖掘数据价值，公司基本完成了智能物联转型。13-14 年视频监控 IP 化与 ToC 互联网业务拓展；15 年视频产品AI 化，依托视频技术拓展业务应用；16 年视频监控智能化(AI 机遇期)，产品多维AI 化；17年搭建 AI 基本三层计算架构（边缘节点、边缘域与云中心）与开放平台；18年基于计算架构完成产品端整合(两池一库四平台)与业务端整合（三大事业群）；19年基于新业务架构硬件由视频监控向多维度的感知设备发展；20-21 年定位智能物联，大模型与大数据投入，23 年基本完成智能物联转型，基于场景数字化向OT(Operational Technology 运营技术)厂商发展。

随场景数字化需求发展，公司由识别技术发展到观澜大模型持续布局。06年海康威视组建算法团队发布一系列行业智能产品，12 年随深度学习技术突破开发了基于深度学习的识别技术，15 年率先推出基于 GPU 与深度学习结合的结构化服务器并扩充形成了完善的智能产品体系；随 AI 产业兴起，17 年公司发布AICloud架构，以“云边融合”理念构建边缘节点、边缘域与云中心的三层架构，形成一体的数字化解决方案开启 AI 落地实践，18 年推出 AI 开放平台为用户提供使能工具；19 年起公司致力于 AI 工程化体系建立，21 年启动了大模型与训练模型研发，目前已完成观澜大模型体系的构建。

2.多维感知技术夯实智能物联基础

场景数字化对信息与数据收集需求增加，公司形成全面的物理传感技术布局。目前公司产品全面覆盖了电磁波、机械波、以及温度、湿度、压力、磁力等其他物理传感技术领域，使得更多外界数据被感知，为各行各业数据分析与应用构建基础。在电磁波领域已覆盖从可见光到近红外、中红外、远红外和毫米波等长波方向及紫外光、X 光等短波方向；机械波领域已覆盖从可听声到超声波频段的感知；其他物理传感包括力传感、电传感、磁传感等技术。

多维感知构建底层技术平台，打开物理与数字世界的大门。下游碎片化的场景解决方案需要多种传感技术先进行全面的信息收集以进行场景状态的检测与处理：在能源领域，通过可见光、紫外光与热成像融合为高压电力设施进行故障排查检测以提升巡检效率；在工业领域，通过音频与视频融合进行生产设备故障监测诊断实现无人化场景下的预测性维护；在环境领域，通过集成视频感知和毫米波雷达感知来对水位变化。

通过多维感知手段获取的千行百业高质量数据铸就技术护城河。随着大模型作为加速解决方案落地的有效工具逐步引入场景数字化应用中，高质量的数据成为公司的核心优势。由于细分行业数据由于通用性低且公开可用部分少，新进入者往往难以获取大模型预训练所需的高质量行业数据。而海康威视基于20 多年在各垂直行业的数据积累，硬件产品覆盖沿电磁波、机械波等物理量建立的智能感知网络，通过强大的营销网络使得产品下沉碎片化场景；随着大模型应用，能为大模型的预训练提供全面海量的高质量行业数据，提升开发效率，叠加自研的模型精简技术，实际推理加速达 10 倍以上。

3.云边融合构建智能物联框架

通过云边部署计算架构降低应用落地成本，使得解决方案具备高性价比。通过公司设计的云边部署计算架构，对于实时性要求较高的边缘数据可通过边缘部署的方式以模型部署在边缘端设备（如智能分析服务器、智能NVR 等）上进行推理，节省算力；在云端则可借助与计算平台进行联网信息处理，公司云服务管理平台云眸，截至 23 年底已经成功接入超过 490 万路终端设备，每日接口调用次数接近1 亿次。通过云端结合边缘端方式，在大模型应用中也可使得算力、成本、时效得到优化。

AI 开放平台提供工程化的使能工具，成为打开千行百业的万能钥匙。碎片化AI需求使得如何快速响应定制化算法实现需求成为关键，海康威视构建了AI开放平台以加速解决方案快速落地。海康威视 AI 开放平台可进行数据采集与标注、模型训练、硬件适配、设备推理到业务应用全流程能力覆盖，面向工商企业、住宅建筑、医疗卫生、智慧交通等数十种行业开放了 50+的场景推理能力，用户可定制化进行智能化应用无代码开发，实现了大模型能力的“开箱即用”，降低了开发门槛并提供了落地工具。自公司 17 年提出 AI Cloud 三级架构后上线AI开放平台，中小微企业客户已超 2 万家。

4.观澜大模型增强工程化落地能力

随着行业智能化发展，海康自 2021 年年初启动大规模预训练模型相关的研发工作；目前公司已构建了一套完整的观澜大模型体系—基础大模型、行业大模型和任务模型： 基础大模型：吸收海量数据知识，具有参数量大、高可泛化、性能优异等特点。根据输入模态的不同可分为视觉大模型、音频大模型、语言大模型、多模态大模型等，外加光纤大模型、X 光大模型等基于物联感知积累的特色大模型。 行业大模型：基于基础大模型利用行业数据进一步预训练和微调而成，在针对性行业领域内具有专家级能力，经一定压缩加速后可在云中心和边缘侧进行推理应用，包括电力大模型、公路大模型、煤矿大模型、水利大模型、零售大模型、轨道大模型、工业制造大模型、城管大模型等。 任务模型：专注于某个具体场景或业务，是大模型能力落地的重要方式。基于行业大模型根据用户的不同需求进行针对性优化，模型可在云上部署（较大任务模型）或边端部署（较小任务模型），实现云边端一体；其中包括表计巡检、皮带巡检、门店巡检、生产运行异常检测、施工机械识别等特色任务模型。

视觉大模型吸收自监督和多模态预训练优点，多场景识别能力显著提升。在视觉大模型中，通过将自然语言处理 NLP 领域的模型结构和训练技术引入到视觉模型中改善模型的训练稳定性；通过自监督预训练挖掘视觉信号的结构信息；利用多模态预训练挖掘视觉信号的语义信息；最终形成图像级、区域级和像素级的高质量视觉表征。基于上述模式，在内部构造的多行业训练样本中，观澜视觉大模型同场景测试集性能提升 18.9%，跨场景测试集性能提升63.8%，业务的逐场景定制需求大幅减少。

音频大模型解决复杂场景开放式音频，大语言模型使机器具备认知与推理能力。观澜音频大模型设计参数十亿级，训练数据达百万小时，采用自监督预训练方式和基于 Transformer 的 Encoder-Decoder 网络架构，通过分布式方式优化训练速度，模型训练成本节约 30%，基于音频大模型和高质量工业场景数据的工业场景行业大模型已在电力、能源等设备异常检测场景应用。而观澜语言大模型则通过预训练、有监督微调和基于人类反馈的强化学习实现；预训练结合参数规模巨大的 Transformer 模型，基于积累的数万亿 token 优质文本数据进行训练，最终千卡并行训练框架在 GPU 有效利用率上达到 58%，具备一流行业竞争力。

观澜多模态大模型通过多类不同来源的信号模态进行融合学习。观澜多模态大模型基于视觉、音频、文本之外，还关联了激光雷达、毫米波雷达、光纤、X光等信号进行融合学习，衍生出解决多种基础问题的多模态大模型：1）图文多模态大模型，在语言模型基础上进行图文数据预训练，具备视觉认知与文本理解的能力，用户只需提供图像输入指令就可以完成任务，显著降低了应用门槛；2）雷视多模态大模型，以智能交通领域为例，利用毫米波雷达和高清摄像机数雷视感知片段构建，海康打造的车、路部署的真值系统，可持续积累高质量点云数据进行训练。

观澜预测大模型为各领域提供状态预测、异常检测与决策支持。海量的物联数据能形成多维序列数据并构建出随时间与空间的变化规律，预测大模型基于Transformer Encoder-Decoder 网络架构，利用自回归、序列重构和对比学习等技术进行预训练，可挖掘数据相关性，以构建预测能力；再利用少量类别、数值等标签信息进行有监督的微调实现多种预测任务的泛化。

光纤大模型基于光纤传感，仅传统深度学习模型数据量的10%就可完成场景部署。光纤大模型通过对特殊环境下利用光纤传感获得的信息进行多维信号的特征抽取进行预训练，基于 Transformer Encoder-Decoder 结构完成信号理解与时序信号生成，通过自监督预训练挖掘多维信号结构信息。目前海康已有近千万条高质量光纤数据，观澜光纤大模型已在钢铁、煤炭、电力等行业中落地应用。

基于智能物联业务框架，观澜大模型已应用于千行百业。以电力领域为例，大模型在发电、输电、变电、配电与用电环节应用以实现安全保障与智能运维。对于作业环境复杂且流动性大的发电环节，安全智能管控系统将大幅优化安全管控的压力；智能巡视可大幅提升缺陷与异常的识别能力，借由感知设备、机器人、无人机等装备减少人工参与，提质增效。

对内通过观澜大模型赋能，可实现内部研发加速提质增效。以光纤产品为例，常规信号调节和处理方案信噪比低，校准工作量巨大；观澜大模型可降低90%的训练启动数据量，智能标注能力可缩短数据标注周期，通过场景微调，无需从头训练就可以满足场景应用。在海康内部的制造基地，由于产品型号数万种、订单定配置比例高达 75%，具有小量多批、大规模定制化的特点。为提升柔性生产效率，观澜预测大模型可利用产品历史需求和变化趋势等数据进行预测，对备货、调货、原材料采购等环节进行优化，最终交付达成率提高近10%，订单合单率提升近10%；通过生产流程监测，自动化与良品率提升。

对外构建榕树生态开放合作模式，寻找行业参与者最大公约数。由于行业参与者众多，业务非单一垂直产业链，在此基础上海康威视建立榕树生态合作模式，技术上开放标准与保障体系同科研院所合作，产品端开放接入标准与软硬件开发商、算法厂商等合作，方案、服务与销售体系均开放，通过行业参与者合作加速推动了行业智能化的发展。