苹果公司AI+硬件落地情况如何？

AI+硬件有望落地，VisionPro 正式开售。

1. AI: 软硬件加快布局 AI，AI+硬件有望落地

AI 手机方面，近期，各大手机厂商加速推进“手机+大模型”

海外：谷歌发布了搭载 AI 基础模型的 Google Pixel 8 系列手机，三星发布自研 AI 聊天机器人 Gauss、并计划整合到 Galaxy S24 系列智能手机中，苹果发布 A17 Pro 芯片、探索 AI 嵌入应用程序。

国内：华为 Mate60 接入盘古大模型；小米 14 系列搭载澎湃 OS 将 AI 大模型植入 系统、并将率先支持 NPU 部署；Vivo OriginOS 4 正式亮相、将蓝心大模型能力与 系统结合，新旗舰 X100 手机首发搭载；OPPO 正式推出 AndesGPT 并接入新操作 系统 ColorOS 14；荣耀宣布 Magic6 系列将支持自研 70 亿端侧 AI 大模型。

AI 智能手机将迎来快速增长。根据 Counterpoint Research，预估 2024 年会成为生成式 AI 智能手机的关键元年，预估出货量将达到 1 亿台、在全球智能手机市场渗透率将达到 8%，到 2027 年出货量将达到 5.22 亿台，2023-2027 年复合年增长率为 83%，在全球 智能手机市场的渗透率达 40%。

硬件端：苹果推出 A17 Pro、M3 芯片，为 AI 硬件落地提供强大支持

1）AI phone 方面

苹果推出全球首款 3nm 工艺制程芯片 A17 Pro，采用 190 亿个晶体管、6 核 CPU（2 颗 高性能核心和 4 颗高能效核心）、6 核 GPU。A17 Pro 的神经网络引擎操作次数达到每秒 35 万亿次，为 AI 应用提供强大支持。

2）AI PC 方面

苹果的 M 系列芯片均采用统一内存架构，提升 SoC 各部分器件对内存的访问速度，具备 高带宽、低延迟、高性能和效率。M3、M3 Pro 和 M3 Max 芯片引入增强型神经网络引 擎，用于加速机器学习模型。与 M1 系列芯片相比，M3 系列神经网络引擎带来最高达 60%的速度提升，加速 AI / ML 工作流的同时、还可将数据保留在设备上，保护用户隐 私。苹果的 M3 芯片能够支持内存容量最高达 128GB、支持运行包含数十亿个参数规模 或者更大的 Transformer 模型，为大模型端侧落地做准备。

软件端：开启大模型布局、发布 MLX 框架及创新闪存利用技术

大模型及应用方面：2023 年 7 月，据彭博社报道，苹果已经建立了自己的框架来创 建大型语言模型，被称为 Ajax，在此基础上还创建了聊天机器人服务“苹果 GPT （Apple GPT）”。2023 年 10 月，据彭博社报道，苹果计划最早在明年推出更智能 的 Siri 版本，并将人工智能添加到尽可能多的应用程序中，包括 Apple Music 和生 产力应用程序。2023 年 10 月，苹果与哥伦比亚大学的研究人员合作发布了名为 Ferret 的开源多模态 LLM，并在 2023 年 12 月更新 Ferret 进展。  机器学习框架方面，2023 年 12 月苹果推出 Apple Silicon 平台专用 AI 框架 MLX， 实现统一内存。 存储利用技术方面，苹果创新的推出利用闪存芯片存储 AI 模型数据、使得在设备端 执行大语言模型的方法。

1）大模型：探索自研生成式 AI 模型 Ajax，发布多模态大模型 Ferret。生成式 AI 方面，2023 年 7 月，据彭博社报道，苹果已经建立了自己的框架来创建大型 语言模型，被称为 Ajax，在此基础上还创建了聊天机器人服务“苹果 GPT（Apple GPT）”。 2023 年 10 月，据彭博社报道，苹果计划最早在明年推出更智能的 Siri 版本，并将人工 智能添加到尽可能多的应用程序中，包括 Apple Music 和生产力应用程序。 多模态方面，2023 年 10 月，苹果与哥伦比亚大学的研究人员合作发布了名为 Ferret 的 开源多模态 LLM。12 月，苹果公布多模态大型语言模型 Ferret 及相关基准测试工具与数 据集，包括 Ferret7B、130B 二模型的程序代码、GRIT 数据集、基准测试工具 FerretBench 等。 该模型可以分析图像上绘制区域，确定其中有用的元素、并将其识别，在检测到的元素 周围绘制边界框，还可以利用图像中检测到的上下文提供回复。如：高亮标注图中动物 图片并询问 Ferret，Ferret 可以确定该动物的种类、并确定用户所指的是动物群中的某 只动物，还可以利用图像检测到的上下文、进一步回复。

2）机器学习框架：发布 Apple Silicon 平台专用 AI 框架 MLX，实现统一内存。12 月，苹果发布专为 Apple Silicon 芯片设计的高效机器学习框架 MLX，已开源。MLX 特 征包括常见的 API（如 Python API、C++ API）、可组合函数转换（自动微分、自动矢量 化和计算图优化）、惰性计算、动态图构建、支持多设备（CPU、GPU）、并且统一内存。 苹果还开源了数据加载包 MLX Data。 MLX 的设计灵感来自 PyTorch、Jax 和 ArrayFire 等框架，MLX 与这些架构的显著区别是 统一内存模型，即 MLX 可实现 GPU 与计算机的 RAM 共享 VRAM。MLX 中的数组位于共 享内存中，可以在任何支持的设备类型上执行对 MLX 数组的操作，无需移动数据。 目前官方案例包含多种模型，如：1）Transformer LM 训练；2）LLaM 大规模文本生成并 通过 LoRA 微调；3）Stable Diffusion 图像生成；4）OpenAI Whisper 语音识别等。

3）存储利用技术：苹果推出利用闪存芯片存储 AI 模型数据的创新技术。据论文《LLM in a flash:Efficient Large Language Model Inference with Limited Memory》， 苹果提出利用闪存芯片存储 AI 模型数据的创新技术，通过将大型语言模型的参数存储在 闪存中、并在需要时将其加载到 DRAM 中，实现大型语言模型的高效推理。创新之处在 于 1）通过窗口化技术减少从闪存中传输的数据量；2）通过行列捆绑技术优化数据块读 取方式，从而实现在内存有限的 iPhone 和其他苹果设备上部署 LLM。优化之后，设备能 够支持运行的模型大小达到了自身 DRAM 的 2 倍；LLM 的推理速度在 Apple M1 Max CPU 上提高了 4-5 倍，在 GPU 上提高了 20-25 倍。

2.XR: VisionPro 开售，“空间计算”时代到来

2.1 XR：市场空间巨大，2024 新品迭出

XR 潜在市场空间巨大。据 IDC，预计 2023 年全球 VR 设备出货量 760 万台、同比下滑 10.7%，到 2027 年 VR 设备出货量有望达到 2190 万台，CAGR 为 30.1%，实现快速增 长。AR 设备出货量将从 2023 年的 50 万台增长至 2027 年的 680 万台，CAGR 高达 96.5%。 根据工信部、教育部、文旅部、广电总局、体育总局等五部门联合印发《虚拟现实与行 业应用融合发 io 展行动计划（2022-2026 年）》，到 2026 年，我国虚拟现实产业总体 规模（含相关硬件、软件、应用等）超过 3500 亿元，虚拟现实终端销量超过 2500 万台。

2024 年 XR 新品涌现。除了备受关注的苹果 Vision Pro1 月 19 日开启预售之外，2024 年 CES 大会上 XR 领域也展示了众多创新成果。比如三星发布全球首款 OLEDoS 显示屏、 用于 XR 头显，索尼发布 XR 一体机、搭载骁龙 XR2+ Gen 2，雷鸟推出新一代双目全彩 MicroLED 光波导 AR 眼镜雷鸟 X2 Lite，华硕发布 AirVision M1 可穿戴显示器，创维推出 混合现实头显 MR PANCAKE 2，歌尔展示全新 VR/AR 显示模组等创新技术及解决方案， 三星发布全球首款用于 XR 头显的 OLEDoS 显示屏等。

2.2 硬件：创新交互方式，Vision Pro 开启“空间计算”时代

作为 MR 龙头，苹果 Vision Pro 有望开启“空间计算”时代。 苹果目前在 XR 的布局， 主要包括 VisionPro（MR 设备，已开售）、VisionPro2（MR 设备，在研）、智能眼镜 Apple Glass（AR 设备，在研）。根据苹果官网信息，Vision Pro 共有 256GB/512GB/1TB 三个 存储版本，售价 3499-3899 美元。VisionPro 1 月 19 日开启预售、开订 18 分钟后库存就 已售罄，据 TrendForce 集邦，预估 2024 年 Apple Vision Pro 出货量约 50-60 万台。我 们预计未来 VisionPro 有望成为新的增长动力，FY 2024-2026 财年分别为 0.6/1.2/1.2 百 万台，带来收入增量超过 20/40/40 亿美元。

Vision Pro 是一款增强现实头显 MR，创新点主要体现在创新交互方式（手眼语音交互 +Eyesight 反向透视）、芯片配置（搭载 M2 +R1 双芯片）、显示（Micro OLED 单眼分 辨率达到 4K）、极致隐私（虹膜识别）、自研系统 visionOS、兼容苹果生态、应用场景 持续拓展等方面。VisionPro 几大应用场景如办公、游戏、居家、观影等，与苹果已有硬 件系列实现打通互联。此外，iPhone 15 pro 推出空间视频拍摄功能、可在 Vision Pro 观 看，推进苹果生态打通。

苹果 Vision Pro 将 AR 与 VR 融合，通过一个旋钮可在 AR 和 VR 之间切换。用户既可以 沉浸式体验 VR 的功能如玩游戏、看电影、办公等，也可以利用头显表面的传感器，将外 部世界的人和物投射入虚拟世界，从而实现 AR 功能。我们认为 Vision Pro 具备几大创 新亮点：

1）创新交互方式：手眼语音交互+Eyesight 反向透视。眼球追踪+语音+手势控制：用户不需要通过手柄控制，只需通过眼睛注视浏览 应用图标，手部轻点选择、轻扫滚动，或语音呼叫 Siri 发布指令，还可以使用 虚拟键盘输入文字。Vision Pro 依靠包括 12 个摄像头、5 个传感器和 6 个麦克 风来实现感知。

具备 Eyesight 反向透视功能：Vision Pro 的黑色外壳可以变得透明，让周围的 人看到用户的眼睛，并让周围的人意识到用户正在关注什么事情。

2）芯片配置：搭载 M2+R1 双芯片。R1 芯片主要负责传输，能够提供超强的算力以及超低的延时。同时还能还原自 己真实的人物形象，呈现出真实的空间感。官方称传输数据 12 毫秒就可以触 达，快于眨眼速度。

3）显示：Micro OLED 单眼分辨率达到 4K。Vision Pro 主显示屏采用 Micro OLED，单眼分辨率达到 4K，为市场上首次出现 的使用 Micro OLED 实现双目 8K 效果的产品。

4）极致隐私：虹膜识别。Vision Pro 采用 Optic ID 虹膜识别，用户的 Optic ID 信息完全加密存储在设备 上，用户使用 Apple Vision Pro 时的浏览内容和眼追踪信息均不会与 Apple、第 三方 apps 或网站分享。

5）自研系统 visionOS、兼容苹果生态。自研系统 visionOS：Vision Pro 搭载全球首创的空间操作系统 visionOS，打造 无边际画布。提供 3D 界面，应用体验不受显示器边界限制，用户可以将应用 放大至任意尺寸、并放置在想要的任何位置。

具备专门的应用商店：具备专用 App Store，可以下载 Vision Pro 应用程序以及 兼容 iPhone 和 iPad 应用程序。

6）应用场景持续拓展。Vision Pro 展示几大应用场景，如办公、视频、游戏、居家、观影等，与苹果已 有硬件系列实现打通互联。 从 BOM 角度，根据 Wellsenn XR 的统计，苹果 Vision Pro 单机 BOM 成本预计超过 1700 美元，产业链中价值量较高的环节包括芯片、屏幕、光学、结构件、传感器等环节。

创新交互方式：Meta VS 苹果，产品生态不同、带来 XR 产品交互模式不同

Meta：

生态：Meta 的 MR 设备主要场景为游戏，因此需手柄操作。但 Meta 没有硬件 基础，向其他通用场景、如办公等方向的扩展相对困难。

交互：Meta Quest 3 以手柄为主，裸手交互等自然交互为辅助。

苹果：

生态：苹果具备强大的软硬件生态，VisionPro 展示的几大重点场景如办公、视 频、游戏、居家、观影等，可以与苹果已有硬件系列实现打通互联。但苹果此 前无 VR 硬件和内容基础，VR 游戏内容目前也非苹果 MR 重心。

交互：Vision Pro 不含手柄操作，而是以眼球追踪+语音+手势控制三大自然交 互协同。

2.3 内容生态：拓展应用场景，推进生态互联

我们认为 Vision Pro 的内容生态有以下特点：场景上，当前 VR 内容主要还是以游戏为主，Vision Pro 上市后，随着应用场景的不 断拓展，有望覆盖人们的日常生活方面，如办公、居家、观影、游戏等。 

维度上，从当前人们熟悉的 2D 升维至 3D，更多 3D 内容如 3D 空间视频、3D 直播 等将快速发展，Vision Pro 已经推出沉浸式视频功能、iPhone 15 Pro 已推出 3D 空 间视频拍摄功能。

生态上，VisionPro 兼容苹果生态、且不断完善开发者生态。苹果 Vision Pro 自研系 统 visionOS，可兼容 iPhone 和 iPad 应用程序；开发者也可选择使用 SwiftUI、 RealityKit、ARKit、Unity、Reality Composer Pro 和 XCode 等框架或工具，开发 Vision Pro 原生应用程序。Vision Pro 还可与苹果已有硬件系列实现打通互联。

展望未来，我们期待 AI 赋能 VisionPro。1）内容场景端，Vision Pro 应用场景持续拓展延伸。Vision Pro 持续拓展应用场景。Vision Pro 展示几大应用场景，如办公、视频、游戏、居 家、观影等，与苹果已有硬件系列实现打通互联。

2）内容形态上，3D 空间视频、直播等 3D 内容形态将快速发展。Vision Pro 展现画面从当前人们熟悉的 2D 升维至 3D，比如 3D 空间视频、直播等新型 内容形态将快速发展，Vision Pro 已经推出沉浸式视频功能、iPhone 15 Pro 已推出 3D 空间视频拍摄功能。 Vision Pro 带来全新开创性的娱乐形式 Apple 沉浸式视频（Apple Immersive Video）， 通过 180 度 3D 8K 视频搭配空间音频，实现身临其境的体验。用户可在 Apple TV 上免 费观看精选的沉浸式电影和剧集，包括《艾丽西亚·凯斯：排练室》、《Faith Dickey 高空 走钢丝》、《史前星球沉浸式》和《野生动物》等。 iPhone 15 pro 推出空间视频拍摄功能、可在 Vision Pro 观看，推进苹果生态打通互联。 2023 年 11 月 10 日，苹果发布 iOS 17.2 Beta 2 更新，新增 iPhone 15 Pro、iPhone 15 Pro Max 录制空间视频功能，并且可在苹果 Vision Pro 头显上观看、带来沉浸式的 3D 视频体验。Vision Pro 搭载全球首创的空间操作系统 visionOS，具备专用 App Store，可 下载 Vision Pro 应用程序以及兼容的 iPhone 和 iPad 应用程序。

3）应用生态上，加强与苹果生态兼容、完善开发者生态。苹果生态方面，Vision Pro 可与苹果已有硬件系列实现打通互联。苹果自研系统 visionOS， Vision Pro 具备专用 App Store，可以下载 Vision Pro 应用程序以及兼容 iPhone 和 iPad 应用程序。开发者既可以选择将原有 iPhone 和 iPad 应用程序以“可缩放 2D 窗口”显 示；也可以选择使用 SwiftUI、RealityKit、ARKit、Unity、Reality Composer Pro 和 XCode 等框架或工具，构建 Vision Pro 原生应用程序。 Vision Pro 发售时将提供的各种流媒体服务和体育应用程序包含 Disney+、ESPN、MLB、 PGA Tour、Max、Discovery+、Amazon Prime Video、Paramount+、Peacock、Pluto TV、 Tubi、Fubo、Crunchyroll、Red Bull TV、IMAX、TikTok 和 MUBI 等。

4）期待 AI 助手赋能 VisionPro。我们预计 AI 有望赋能 VisionPro 更智能、交互更顺畅、提升用户体验。以 Meta 为例， Ray-Ban 眼镜内置 Meta AI，正在内测进行进行语音交互以及图像识别等。南洋理工大 学与微软雷蒙德研究所联合发布 AI 助手 Otter，可集成到苹果 Vision Pro 类型头显中， 可以实现能完成多模态感知、推理、和上下文学习，比如提供麻将出牌建议、锻炼计数、 提示调酒配方等。