AI端侧应用分析

端侧 AI 应用加速普及，推动智能化生活升级。

1.AI AGENT 和机器人引领 AI 产业革命

AI Agent 作为新一代数字化员工，凭借理解、规划、执行的全链路能力， 正加速融入企业运营体系。AI Agent 不仅是简单的工具，更像是需要系统性 培养的数字员工，企业需要通过专业数据构建和技能训练，使其深度理解企 业文化和业务流程。这些数字员工可以执行营销活动、支持客户、优化芯片、 协助软件编写，甚至是作为实验室助理或首席执行官导师。为此，英伟达创 建了生命周期平台 nemo，让生态系统能够更容易地构建人工智能代理，能 够创建、交付、持续改进人工智能代理。nemo 为每个阶段提供库，从数据 创建、训练、微调、合成数据生成、评估到护栏。关于人和人工智能的关系， 英伟达认为人工智能不会取代 50%人的工作，而是人工智能将为 100%的人 完成 50%的工作。

人工智能为机械系统注入新动能，智能机器人有望成为世界上最重要的产 业之一。尽管机器人已显著提升制造业生产力，但机器人行业长期发展停 滞，扩张困难。主要原因在于传统机器人过于专用化、缺乏灵活性，难以适 应不同场景。相比之下，人工智能具备自适应和学习能力，灵活性更强。因 此，现在可以将这种通用人工智能技术应用到具身人工智能或物理机器人 领域，推动机器人技术实现突破。这一过程需要构建三个计算系统：首先是 传统的人工智能系统；第二是模拟训练系统，为 AI 提供学习环境和合成数 据；最后，经过验证、训练和评估后，将模型部署到物理机器人中。为此， 英伟达专门开发了面向机器人的 Jetson 处理器。借助这一技术，机器人不 仅能感知周围环境，还能将文本指令转化为关节运动，从而实现更灵活的操 作。

英伟达发布强化学习虚拟系统 IsaacLAB，致力于为人类和机器人提供系统 化训练方案。英伟达在该系统中构建了三个核心工作流程：第一个是群组模 仿，通过采集人类示范动作，并利用域随机化技术生成数百个类似场景，帮 助机器人掌握泛化能力；第二个是分组，运用生成式 AI 技术创建大量随机 化的环境和任务场景，丰富机器人的训练样本；第三个是群组控制，这是一 个模型提炼框架，能够将所有已习得的任务和技能整合到统一模型中，使机 器人实现多样化的运动技能。 AI 将赋能机器人引领工厂革命。传统软件一直扮演工具角色，而 AI 突破 了这一定位，成为具备技能、能够自主执行任务的智能主体。未来工厂将会 有两个 AI 系统，其一是数字化 AI Agent，与办公室员工协同工作；其二是 实体化的 AI 机器人系统，承担物理世界的生产任务。许多企业、媒体认为 制造实体产品才有真正的价值和意义，而软件是虚拟的东西，因此不信任软 件的价值。但未来机器人和 AI 的结合将会更加释放软件的价值。 英伟达宣布将与软银合作，为日本带来并建立人工智能基础设施，共同建 设日本最大的人工智能工厂。英伟达和软银计划整合无线通信、计算机和 5G-RAN 基带，将传统电信网络升级改造为 AI-RAN 系统，实现语音、数 据、视频的承载。未来双方还会将新型人工智能分布在软银的上万个站点中。 这一布局最终将形成覆盖全日本的 AI 智能网络。随着 AI 基础设施的建立， 新行业和新公司有望会孕育新的商机。 过去基站主要用于传输电信和互联网浏览等服务，但现在随着紧密相连的 智能网络的发展，AI 网络将成为日本基础设施的核心。英伟达和软银展望 未来，认为个人 AI 助手将如同 PC 和智能手机一样普及，成为个人生活的 智能伴侣，在旅行规划、教育指导等方面提供全方位服务，并通过深度了解 用户的健康、教育等状况，成为他们的“双胞胎 AI 助手”。因而，这也对每 个主权国家、政府都建立自己的主权数据中心提出了要求和挑战。

2. AI 手机：硬件升级提速，终端智能迈入新阶段

三星率先发布搭载端侧 AI 的 Galaxy S24 系列，带动 2024 年 AI 手机市场 快速起步。三星 Galaxy S24 系列于 2024 年 1 月首次实现了端云结合的 AI 架构，在通话翻译、图像处理和语音转写三大场景实现纯端侧处理。该系列 搭载高通骁龙 8 Gen3 处理器，通过端侧模型预处理确保个人信息不出设备， 同时实现毫秒级响应。其中，实时通话翻译功能完全在本地进行，无需联网 即可实现多语言实时对话；本地 AI 还能进行照片智能修复和多人会议实时 转写，体现了端侧 AI 在提升用户体验同时保护隐私的典型优势。

端侧 AI 应用成为 2024 年手机行业创新重点。小米在 2024 年 2 月发布的14 Ultra 搭载首个 AI 大模型计算摄影平台 Xiaomi AISP，通过整合 CPU、 GPU、NPU 和 ISP 实现 60TOPS 算力，首次将 AIGC 技术应用于 100 倍数 码变焦的实时处理；OPPO 在 2024 年 1 月的 Find X7 系列中率先集成了端 侧 AIGC 消除、AI 通话摘要功能；vivo 则在 2023 年底推出了从 10 亿到 1750 亿参数的五款不同规模端侧模型，构建起较为完整的 AI 能力矩阵。 终端厂商基于端云混合架构探索 AI 落地路径，行业共识逐步形成。根据联 发科、IDC、OPPO 在 2024 年 2 月发布的《AI 手机白皮书》，AI 手机需具 备高效算力调度、环境感知、自学习和创作四大核心能力。目前各大厂商采 用端侧预处理与云端协同的技术路线，在保护用户隐私的同时确保功能实 时性。根据 Counterpoint Research 预测，2024 年生成式 AI 手机出货量将突 破 1 亿部，到 2027 年市场占比有望达到 40%，显示出强劲的增长潜力。 华为在 HarmonyOS NEXT 中首次实现 AI 能力操作系统级下沉，开创端侧 智能新范式。根据 IT 之家 2024 年 6 月信息，华为不同于市面上简单集成 大模型的 AI 产品，而是通过软硬芯云整合构建了鸿蒙原生智能架构，使 AI 与操作系统深度融合。这种系统级融合使得小艺智能体能够常驻导航条，用 户可通过全局拖拽方式直接处理文字、图片、文档，实现摘要、润色、提取 表格等功能；同时，搭载盘古大模型的小艺具备 23 类 TOP 场景的记忆感知 能力，任务成功率达 90%，已实现与 300 多个重点服务的无缝对接。这种 将 AI 能力下沉到系统层的架构创新，极大提升了端侧 AI 的应用效率。

苹果通过 Apple Intelligence 构建全方位端侧 AI 架构。苹果在 iOS 18 中推 出了 Apple Intelligence 系统。基础 AI 能力通过设备端处理实现，包括文本 校对、图像清理和自然语言理解等，对于更复杂的计算需求，系统会调用基 于 Apple Silicon 的服务器集群进行 Private Cloud Compute，确保数据隐私不 被收集存储。这一架构支持多样化的端侧应用场景：在写作工具方面，能够 进行文本校对、重写和摘要；在图像处理上，支持移除干扰元素和自然语言 搜索；在个人助理方面，全新设计的 Siri 可通过设备端上下文理解实现更自 然的交互，并能跨应用执行复杂任务。

Agent 类 AI 应用迎来落地关键期，智谱 Phone Use 通过语音交互打开手机 控制新场景。2024 年 11 月，智谱 AI 基于 AutoGLM 智能体和 GLM-4-Voice 将AI应用扩展至"Phone Use"领域，可以模拟人类完成微信点赞、淘宝购物、 订票等复杂操作。目前这一 Phone Use 能力已适配微信、淘宝、美团等 8 款 主流应用。在交互效率方面，Phone Use 突破了传统语音助手的单一指令模 式，支持多轮对话和复杂任务执行，为用户提供更自然的操作体验。相比传 统 AI 助手仅能通过 API 调用的方式，AutoGLM 的 Phone Use 技术为端侧 AI Agent 在手机市场的拓展提供了参考方向。

端侧 AI 手机的竞争焦点已从功能堆砌转向用户隐私与体验的平衡突破。传 统云端 AI 模式虽然算力充沛，但隐私风险和网络依赖限制了其发展空间。 新一代手机厂商通过端云结合架构，既确保个人信息不出设备，又能实现毫 秒级响应，标志着终端智能已找到兼顾隐私与体验的最优解。这种基于用户 核心需求的创新，将成为未来 AI 手机竞争的关键砝码。 终端智能正从单一功能走向全场景协同，AI 手机的竞争逻辑已转向生态构 建。目前各大手机厂商纷纷布局系统级 AI 架构，不再局限于简单的功能集 成，而是着眼于打造端侧智能生态。这种转变意味着，手机厂商的竞争重点 将从硬件规格转向场景生态，谁能率先构建起完整的智能场景闭环，谁就能 在下一轮行业变革中占据先机。

3. AI PC：全场景智慧加速，应用生态革新

英特尔酷睿 Ultra 处理器为 AI PC 带来革命性突破。2024 年 9 月，英特尔 发布 Ultra 200V 系列处理器，为 AI PC 带来突破性的性能提升和能效优化。 这一新品在三大 AI 引擎架构上实现全面突破：CPU 整体功耗较上代降低 50%，NPU 性能提升 4 倍，GPU 首次采用 Xe2 图形微架构带来平均 30%的 性能提升，整体平台算力高达 120 TOPS。通过与 100 多家 ISV 和开发者的 合作，该处理器已支持超过 300 个 AI 加速功能，并针对 500 多种 AI 大模 型进行了优化。

联想新一代 ThinkPad 将端侧 AI 延伸至智能场景交互，开创商用电脑新形 态。联想于 2024 年 9 月推出的 ThinkPad X1 Carbon Gen 13 等新品，突破了 传统的 AI 应用方式，搭载高通骁龙 X Elite，支持 Copilot，新增 Smart Modes 智能模式可根据场景自动调整性能，如检测到背后有人时自动为屏幕打码； Smart Share 功能通过 AI 虚拟传感器实现手机与 PC 的触碰传输。联想还将 在 Yoga Pro 9i 等机型上率先搭载 Creator Zone 软件套件，基于 Stable Diffusion 模型提供自然语言生成视觉内容的能力。

鸿蒙生态春季沟通会上，华为首次将自研的盘古大模型引入 PC 端。华为 2024 年新发布的 MateBook X Pro 搭载了 AI 概要功能，通过盘古大模型可 实现会议实时转写、音视频快速总结等智能应用；同时还首发推出AI空间， 作为一站式 AI 能力聚合入口，不仅集成了文心一言、讯飞星火、智谱清言 等第三方大模型，还精选了超过 100 个 AI 智能体，覆盖办公、学习、创作 等多个场景。

华为 MateBook X Pro AI 算力在硬件层面得到突破，实现了多项智能体验 的升级。MateBook X ProAI 搭载英特尔酷睿 Ultra 9 处理器，在仅 980g 的 轻量机身中实现了 40W 的持续性能释放。通过 AI 赋能，该产品带来了多 项智能体验升级：AI 慧眼让视频会议中的人像清晰度提升 50%，AI 音效提 供三种智能降噪模式，AI 字幕支持实时翻译和会议记录导出，此外华为 AI 还积极赋能第三方应用，例如首发支持 WPS AI、与万兴喵影的合作，成为 市场首款支持 AI 特效调用 NPU 的笔记本。

华勤技术与荣耀深度合作，积极参与 AI PC 市场。2024 年 2 月的 MWC 2024 巴塞罗那发布会上，荣耀推出 MagicBook Pro 16，该产品由华勤提供 研发制造服务，搭载英特尔酷睿 Ultra 处理器，支持本地 AI 智能搜图、文 档总结等 AI 功能。作为联想等品牌的长期 ODM 合作伙伴，华勤依托 "2+N+3"产品线布局和在智能硬件领域的深厚经验，已具备从产品设计、硬 件配置到软件生态的全方位研发能力，有望在 AIPC 快速发展的浪潮中占据 重要位置。

AI PC 的差异化竞争已从硬件转向场景创新与生态构建的深水区。传统 PC 厂商曾依靠处理器性能和轻薄程度获取溢价，但在 AI 时代，联想通过 Smart Modes 等场景感知功能、华为通过 AI 空间生态平台的路径显示，未来的竞 争优势将更多来自对用户场景的深度理解和生态资源的整合能力。这意味 着 PC 行业的竞争模式正在发生根本性转变。 ODM 厂商有望通过 AI PC 浪潮实现向产业链上游的突破。华勤从单纯代 工向全方位研发服务转型的案例表明，AI PC 带来的不仅是终端形态的革 新，更是整个产业链重构的契机。在这轮变革中，具备深厚硬件积累和灵活 创新能力的 ODM 厂商，有机会突破传统代工模式的天花板，在产业链中获 得更大的话语权。

4. 智能驾驶：端到端模型破局，多模态感知提速

2024 年端到端 AI 驾驶模型成为技术发展主流，降低系统开发复杂度。端 到端大模型的引入使得智能驾驶功能更加接近真实的人类驾驶体验，减少 了人工规则的介入。从落地产品看，特斯拉 FSD V12.4 于 2024 年 6 月已开 始向首批用户推送测试，采用端到端神经网络架构；小鹏推出的 XNet+规控大模型 XPlanner 及大语言模型 XBrain 等端到端方案已在 2024 年 5 月实现 量产；华为 ADS 3.0 端到端类人驾驶技术也已发布，计划于 2025 年开始商 用。 多模态 AI 模型在端侧实现感知决策能力提升，推动 ADAS 功能进化。AI 技术在智能驾驶中的应用范围不断扩大，多模态 AI 模型在端侧实现了图像 识别、雷达和激光雷达数据处理等核心功能。华为推出的 ADS 3.0 系统采 用端云协同架构，将基础感知、预警等高频任务放在本地处理，有效提升了 系统响应速度。生成式 AI 技术也在 ADAS 领域得到应用，用于提升自适应 巡航、车道保持等功能的智能化水平。在视觉处理方面，飞凌微等企业推出 的车载视觉处理芯片，为端侧智能驾驶视觉解决方案提供了支持。 特斯拉 FSD V12 作为端到端 AI 应用的重要里程碑，在 2024 年持续迭代。 最新发布的 FSD 12.4.1 版本实现了从方向盘扭力监测向基于神经网络的摄 像头驾驶员监测系统的转变，通过 AI 技术实时分析驾驶员眼睛状态、视线 方向等行为数据，大幅提升了驾驶安全性。根据马斯克介绍，FSD V12.4 相 比 12.3 版本的接管率改善了 5-10 倍，且整合了此前割裂的 FSD 和非 FSD 分支，其改进幅度堪称 FSD V13，特斯拉预计通过持续的版本更新，有望实 现用户几乎无需手动接管的智能驾驶体验。

小鹏汽车率先推出了国内首个量产上车的端到端大模型。根据小鹏 520 AI DAY 披露，其端到端解决方案包含深度视觉感知神经网络 XNet、规划大模 型 XPlanner 和大语言模型 XBrain 三个核心组件，通过超过 10 亿里程的视 频训练数据支持，实现每两天一次的快速迭代。这套系统显著提升了智能驾 驶性能，使前后顿挫减少 50%、违停卡死减少 40%、安全接管减少 60%。 特别值得注意的是，基于这套端到端架构，XNet 能通过 200 万个网格实现 对现实世界的 3D 重构，感知范围扩大至 1.8 个足球场，而 XPlanner 则通过 海量数据训练实现更接近人类的驾驶策略。

地平线最新发布的 SuperDrive 方案展现了端到端架构的创新应用。根据地 平线披露，该方案采用动态、静态、OCC（Occupancy 占用网络）三网合一 的端到端感知架构，显著提升了系统性能，使遮挡准召率提升 70%，同时将 动态代码行数降低 90%、网络负载降低 50%。特别是在数据驱动的交互博 弈算法支持下，系统在复杂交通场景中展现出更接近人类驾驶员的决策能 力，使拥堵场景下的变道成功率提升 50%，路口通过率提升 67%。

黑芝麻智能发布第三代 DynamAI NN 神经网络处理器，在 AI 芯片端侧计 算进行创新。2024 年 5 月发布的该处理器通过原生支持 Transformer 架构强 化了对高阶自动驾驶算法的处理能力，同时采用新型存取架构在保证大模 型所需高带宽的前提下显著降低了 DDR 成本。可见车载端 AI 芯片已经开 始突破带宽瓶颈，向支持更复杂 AI 模型的方向演进。

端到端 AI 模型正在颠覆传统的智能驾驶技术路线。与传统的"感知-规划-控 制"分层架构不同，端到端模型通过直接从输入到输出的映射大幅简化了系 统架构，如小鹏 XNet 将违停卡死减少 40%、特斯拉 FSD V12 提升接管率 5-10 倍的数据都验证了这一路径的优势。这种范式转变不仅降低了开发复 杂度，更重要的是开创了一种更接近人类驾驶认知的技术方向，预示着智能 驾驶的发展将进入新阶段。