2023年MR行业专题报告：苹果持续推进3D内容生态建设，引领空间运算时代

1. 3D 拍摄：从目标捕捉到空间视频

苹果耕耘 3D 内容创建多年，有望引爆空间计算时代。苹果在 3D 内容 的创建上已经耕耘多年，2021 年 WWDC 上，其推出目标捕捉（Object Capture）功能，让更多的第三方 App 可以直接通过 iOS App 实现 Object Capture 并生成一个 USDZ 格式的 3D 文件。在 2023 年秋季发布会上， 苹果进一步推出其空间视频（Spatial Video）功能，iPhone 15 Pro 及 Pro max支持空间视频的拍摄，并能在 Vision Pro上播放及共享给其他用户。 苹果在 3D 内容创建领域的不断推进，有望推动 Vision Pro 的生态建设， 引领空间运算时代。

苹果所推出的空间视频以及目标捕捉是两个不同的概念。空间视频通过 两个摄像头，采用双目立体视觉原理，类似于电影院 3D 电影，通过双 目视差产生立体感，而目标捕捉则是通过多角度拍摄很多图片和深度信 息，结合激光雷达扫描，通过算法生成三维模型；从文件格式来说，苹 果的空间视频和目标捕捉均采用了行业通用的编码和格式，空间视频采 用的视频编码为 MV-HEVC，已经在电影院中得到应用，同时苹果支持 QuickTime 和 MPEG-4 两种空间视频的文件格式，而目标捕捉的 3D 模 型，苹果采用 USDZ 格式，是目前行业广泛应用的一种 3D 模型格式； 从硬件方面，目标捕捉需要摄像头和激光雷达，而空间视频需要两个 RGB 摄像头。目标捕捉需要苹果设备升级到 iOS17，而空间视频已经支 持 iPhone15 的 Pro 和 Pro max 以及苹果眼镜；在应用方面，目前目标 捕捉可以通过苹果的 API 来开发应用，而空间视频可以由苹果官网的拍 照 APP 支持。

1.1. 空间视频（Spatial Video）

空间视频震撼亮相苹果 2023 年秋季发布会。在 2023 年秋季发布会上， 苹果宣布 iPhone 15 Pro 系列支持一项新的功能，即空间视频（Spatial video）的拍摄，用超广角和主摄一起来拍摄带三维感的视频，之后用户 可以通过 Apple Vision Pro 重温空间视频，让用户拥有身临其境的感受， 同时还可以通过 Vision Pro 与其他人分享视频。由于手机的普及程度以 及使用频次较高，用户可以使用手机来捕捉生活中的重要时刻，降低了拍摄设备的门槛。3D 视频的拍摄进一步丰富了空间计算平台的内容， 有望有效解决困扰 XR 发展的 3D 内容制作难题，同时将进一步推动 Vision Pro 的生态建设。

1.2. 目标捕捉（Object Capture）

苹果早在 2021年就推出目标捕捉功能。苹果 2021 年 WWDC 推出 Object capture，以从多个角度拍摄的照片为基础， Object capture 可以在几分 钟之内完成 3D 模型的创建。拍摄过程共有以下几步，将镜头对准物体， 绕着物体走一圈，object capture 会自动选取合适的图像，并提供可视化 指引与额外的反馈信息，最后拍摄底部，随后便会生成 USDZ 格式的的 模型。USDZ 格式是目前行业内广泛使用的一种 3D 模型格式，为苹果 与皮克斯共同研发，于 2018 年推出。

2. 空间视频与目标捕捉采用不同的技术路径

2.1. 3D 立体成像原理

目前 3D 立体成像的主要方法有双目立体视觉、ToF、结构光等方式。 我们所熟知的苹果的 Face ID 功能即采用了结构光的原理；苹果 iPhone 15 Pro 系列支持的的“Spatial video”功能主要利用了双目立体视觉的原 理，即用主摄与超广角两颗摄像头模仿人类的眼睛，实现 3D 内容的创 建；而下文所提的“Object Capture”则主要使用了 ToF 方法，几种 3D 成像的方法在测量距离、精度、范围、适用场景方面均有所不同。

双目立体视觉：目前 iPhone 15 Pro 系列的空间视频拍摄主要使用这 种方法。双目立体视觉模仿人的两个眼睛，通过融合两只眼睛获得 的图像并进行立体匹配获得两幅图像的视差，再根据三角测量原理 计算出场景的深度，双目立体视觉目前在三维建模、自动驾驶、手 机摄影等领域具有较为广泛的应用。

飞行时间法（ToF）：即 Time of Flight，基本原理为通过发射连续光 脉冲（一般为不可见光）到被观测物体上，然后用传感器接收从物 体返回的光，通过探测光脉冲的飞行时间来得到目标物的距离。根 据具体的调制方法，ToF 一般又可分为脉冲调制以及连续波调制， 脉冲调制直接根据光脉冲的发射与接收时间差来测算距离，而连续 波调制一般采用正弦波，通过测算接收端与发射端正弦波的相位偏 移来测量距离。按照飞行时间测算的方法不同，ToF 又可以分为 iToF 和 dToF。

结构光 3D 成像：结构光即将提前编码设计好的结构性图案投影到 三维空间物体表面上，用另外的相机来观察物体表面的成像畸变情 况，根据结构光图案以及观察到的畸变，计算出物体的形状以及深 度信息。

2.2. 空间视频主要使用了双目立体视觉

苹果发布会表示，其空间视频的拍摄主要使用了超广角和主摄像头来实 现。通过双摄像头实现的“画面时差”感，产生在电影院观看 3D 电影 的效果。2023 年 6 月份，苹果发布其 Apple Vision Pro 产品，Vision Pro 为苹果首个搭载 3D 相机的设备。从原理上来说，Vision Pro 通过其配置 的雷达以及景深摄像头实现 3D 拍摄，原理上与 iPhone 15 Pro 系列有所 不同。

苹果的 3D 视频拍摄整体结构与 2D 差别不大，但做了额外支持。苹果 的 2D 拍摄使用了苹果公司提出的给予 HTTP 的媒体流传输协议，用于 实时音视频流的传输，即 HLS（HTTP Live Streaming），HLS 协议通过 将整条流切割成一个个小的可用通过 HTTP 下载的媒体文件，然后提供 一个配套的媒体列表文件，让客户端按顺序提取这些媒体文件。而在苹 果的 3D 拍摄中，整体的架构与 2D 无大差别，使用了 HLS 技术加入了 fMP4 Timed Metadata 对 3D 拍摄进行了额外支持。 3D 视频编码采用了较为通用的格式。苹果的 3D 拍摄使用的视频编码方 式为 MV-HEVC(Multiview High Effic iency Video Coding)，是 HEVC 的一 个延伸，而这套编码早在 2015 年就被 ISO/IECMPEG 和 ITU-T VCEG 两 大国际标准化组织确立为标准编码。视频的每一个 frame 都有一个左眼 和右眼的图像，MV-HEVC 的 HEVC 的一个延伸，Apple Silicon 芯片也 可以 MV-HEVC 数据进行处理。苹果针对空间视频，新增了一项 vexu （video extended usage）负责记录空间视频的相关信息（包括左右眼视 角记录和立体视觉信息等）。

2.3. 目标捕捉主要使用了 ToF 方案

Object Capture 采用了计算机视觉技术，以不同角度拍摄的系列照片为 基础，并借助激光雷达扫描，创建 3D 模型。Object capture 创建 3D 模 型的大概步骤如下：打开示例 APP，将镜头对准物体，并绕着物体走一 圈，苹果提供可视化的指引以及额外的反馈信息，然后拍摄底部，就可 以生成 USDZ 格式的模型。同时苹果为了保证对于纹理不足的物体的重 建效果，支持了激光雷达扫描，通过强化点云的覆盖率和密度，结合 RGB 摄像头，使物体的 3D 形态得到全面呈现。

由于苹果的 3D 模型创建需使用激光雷达，所以目前支持的设备包括 iPhone 12 Pro、iPad Pro 2021 及之后配备激光雷达的机型。同时，在模 型的重建中，若用户需要对不同的重建要求进行选择，可以将数据传输 到 iMAC 上进行更多细节的工作。

3. 应用端：3D 拍摄重构生产生活，应用有望多点爆 发

基于 3D 拍摄技术，XR 行业内容库将进一步丰富，推动 Vision Pro 生 态建设，并且带来更多创新应用的场景。借助 MR 眼镜等终端设备，3D 拍摄将在诸多领域大放异彩，例如辅助医生进行手术计划和导航、工业 设计和制造过程管控、教育娱乐等重要应用前景。

3.1. To B：医疗、工业生产、营销等领域大有可为

3.1.1. 医学诊疗与康复：三维扫描与呈现赋能医学研究与治疗

3D 模型为医护人员在规培中提供全面直观的学习体验。3D 扫描和模型 技术可以将人体内部的器官、骨骼和组织以三维形式呈现，学生可以通 过旋转、缩放、分层等方式探索人体内部结构，从而直观全面地了解医 学知识。3D 技术还可用于手术模拟，让学生实践模拟各种手术场景， 包括手术前的准备工作、手术中的操作步骤和手术后的处理流程，从而 提高手术技能和安全。

人体数字化建模助力医学研究和临床诊断。通过 3D 建模、渲染将人体 器官、骨骼和组织以 3D 形式数字化，为医学研究提供更真实、立体的数据来源，帮助医学研究人员准确诊断疾病的发生机制、治疗方法和预 防措施。

3D 拍摄技术在手术辅助中扮演关键角色，覆盖手术规划和导航的全过 程。通过 3D 扫描技术，可以将病人的器官、骨骼和组织以数字化形式 进行呈现，帮助医生规划手术部位、手术路径和手术方式等。在术中， 医生可以依靠 3D 导航系统精确定位手术部位，提高手术的精准度和安 全性。

目标捕捉技术优化病人康复过程。通过目标捕捉技术获取数字化病人的 身体数据，依据其身体结构、运动能力和康复情况等制定个性化训练方 案，监测病人的康复进度，提供实时反馈，进而优化训练内容、强度和 频率，提高康复效果。

模拟环境应用于心理精神类疾病诊治。通过为患者模拟不同的环境场所， 提供认知行为刺激或进行暴露疗法，刺激病患大脑中相关的感应区，如 通过暴露疗法治疗恐高症、幽闭恐惧症患者，对用户进行放松，缓解其 压力、焦虑和抑郁。

3.1.2. 工业设计与制造：规范化流程管控，各环节降本增效

3D 拍摄在产品研发、设计与制造各环节均有广泛应用。在研发设计与 规划阶段，借助 3D 拍摄技术，方案能够转换到虚拟场景中进行动态展 示，以供全面考量各环节的细节，并检测方案可行性。同时，支持不同 技术部门之间的协作，提高跨部门合作效率。另外，通过目标捕捉技术， 实际产品可以转化为数字化的 3D 模型，加快了设计过程，降低了原型 制作的成本和时间，并提供了更好的可视化和交互性。在后期制造过程 中，则可以利用空间视频进行仿真实验，先期研究系统问题，从而缩短 实验周期、降低成本，并提高效率。

帮助实现沉浸式的技能培训和教学演示。可以利用 3D 拍摄技术实时呈 现真实生产场景，提供实时指导和反馈，降低员工培训成本和使用设备 时的风险，最终提升员工培训效率和效果。

3D 拍摄技术可应用于质量控制和检测。对于需要进行高精度测量的工 业应用，3D 拍摄可以提供准确的数据，如在航空航天领域，可以利用 3D 拍摄技术来测量飞机表面的形状和尺寸，确保飞机的几何参数符合 要求。在新设备或生产线的检测、维修时，空间视频为维修人员提供快 速全面的维护指导，在遇到特殊问题时，还可以远程求助专家，实时接 收指导和协助。

设备数据可视化实现在线监控。3D 拍摄技术为工业机械设备监控和协 作提供新方法。中央控制室可对整个工厂设备进行可视化监控，并以多 角度显示所有数据。此外，管理者还可以通过技术动态演示设备的运动 轨迹，从而对生产设备的设置有科学的参考。

工业各细分领域的可视化和仿真应用全面升级。建筑和土木工程领域， 3D 拍摄创建数字模型，以进行设计评估、冲突检测和工程可行性研究。 在航空航天和汽车制造业中，3D 拍摄用于快速原型制作、零件检测和 装配验证。在可持续能源领域，如太阳能和风能发电，可以使用 3D 拍 摄评估和优化设备的布局和性能。自动化和机器视觉方面，3D 拍摄与 机器视觉技术结合，用于工业自动化和机器人导航，实现对物体位置、 形状和姿态的精确感知，提高生产线的效率和准确性。

3D 拍摄赋能智能物流的智能化转型。基于空间拍摄技术的智能仓储解 决方案能够确保快速、准确地优化仓库设计、库存处理、订单选拣等流 程。采用 3D 拍摄创建的数字交互式仓库布局设计能节省大量的时间和 成本，从 3D 显示屏获取货物的详细信息，使仓储系统更高效便捷。

3.1.3. 电商营销与管理：丰富购物体验，促进流量转化

3D 虚拟货架提供更加丰富、真实的商品展示和购物体验。目标捕捉技 术将商品模型数字化并集成到平台，电商企业可以通过空间视频技术将 商品的环境和场景呈现在用户面前，模拟实际使用情境，让用户更好了 解商品材料、尺寸、颜色、构造、使用效果等因素；并通过提供可参与 和互动的 3D 虚拟展示场景和物品模型，让用户自由探索、旋转、缩放 商品，深入了解商品细节和设计，为用户提供更加直观、身临其境的购 物体验。

目标捕捉获取消费者偏好，提供智能化的数据分析能力。电商企业可以 通过目标捕捉技术获取消费者的空间行为和场景数据，构建消费者偏好 模型，以此分析用户浏览、搜索和购买过程中的行为和偏好，从而有效 管理各种商品和资源，提高销售人员的客户沟通能力和推荐效果，减少 客户流失率，提高预测准确率。

虚拟现实融合，提升商品吸引力和顾客购买率。电商企业可以通过空间 视频技术将商品与现实场景相融合，为客户提供更加可参与和互动的虚 拟购物环境，让客户沉浸并参与商品世界中，提高购物的乐趣和满足度， 激发用户对商品的内在需求，从而提高购买率。

3D 拍摄技术提升用户服务和支持效果。电商企业可以利用空间视频技 术构建实时视频客服系统，通过分层和区域化管理，进行高效服务支持。 用户可以在无需离开电商平台的情况下，实时与客服人员进行互动，获 得专业的指导和建议；虚拟试衣间和我的搭配等功能也让用户检查自己 的购物风格和衣服是否匹配，提高用户的购物效率和浏览舒适度。

3.2. To C：提升学习效率，带来沉浸式文娱体验

3.2.1. 数字化教育：消弭时空限制，提升教学效率

空间视频&照片丰富学习体验，提升学习效率。利用空间视频、空间照 片等技术提供丰富的学习体验，以帮助学生更好地理解、吸收知识。如 在异地授课、远程教育中，空间视频技术打造真实、身临其境的远程学习环境，使学习者感觉就像置身于现场，更好地参与学习中；空间照片 技术实现了 3D 场景的展示，让学生可以在场景中自由探索，其中的附 加信息、文字解读和音频等素材进一步提升了学生的学习效率。

3D 课堂打破传统教育的时空限制。3D 拍摄通过手势跟踪和深入学习等 技术使用，满足学生在任何场所观看、触摸全息图的需求，沉浸式技术 本质上是体验式，学生可以通过观看 3D 教学视频、参与虚拟实验和互 动活动等方式，获取到超越传统教育的学习体验。如目标捕捉技术可以 将物理实验室的设备、机器组件等转换为数字化模型，学生通过虚拟现 实方式进行交互式实验操作，帮助学生理解实验步骤和结果，增加学生 探究性、好奇心。

3D 拍摄打造交互式教材，提升学习效果。3D 拍摄技术打造交互式教材， 提升学习效果。目标捕捉技术可以创建交互式教材，以更多的角度和维 度展示信息，将知识点可视化，学生可以获得更加直观、生动的学习体 验。且学生们可以根据学习需求和兴趣灵活选择学习内容和学习路径，由此在激发兴趣和培养创造性思维能力的同时，增强学生的参与度和学 习效果。

3.2.2. 娱乐文旅：沉浸式娱乐互动，拉进社交距离

空间视频技术可带来极致虚拟现实体验。空间视频技术可以让用户身临 其境地体验虚拟现实场景。全息电影通过在真实电影场景中安装多个 3D 摄像机，同一时间点拍摄对同一场景进行不同角度的拍摄，再将这些画 面拼接成为 3D 效果的场景，让用户在大银幕观影的过程中，像坐亲临 其境一样与电影中的人物、景象进行互动。此外，用户可以随时随地进 行沉浸式虚拟游戏和主题公园的体验，在虚拟现实环境中探索未知的新 世界，享受娱乐带来的无限想象。

数字娱乐打造真实的互动体验。目标捕捉技术可以将用户的动作实时捕 捉并映射到虚拟娱乐场景中，如舞蹈游戏通过采集和转换用户舞蹈姿势 数据，将用户的动作实时呈现在虚拟舞蹈场景中。同时，目标捕捉技术还可以应用于体育运动、卡通人物互动等场景，为用户打造更丰富多彩、 真实而独特的数字娱乐体验。

虚拟公共空间为用户创建社交化的娱乐体验。用户可以创建虚拟公共空 间，如虚拟社交平台、虚拟公园、虚拟商场等等，与其他用户一起创造、 交流和分享虚拟现实内容，在过程中结识新朋友、参加虚拟活动、享受 虚拟商品和服务，增加互动性和娱乐性。此外，基于 3D 拍摄技术的虚 拟社交还涌现出许多新兴业态，如虚拟主持人、虚拟演唱会、虚拟聚会 等等，更多具有创新性和社交化特性的数字娱乐形式不断涌现。

空间视频&多点触控带来沉浸式旅游体验，助力文化传承。空间视频技 术可以实现文物、文化和历史等宝贵资源的数字化保存和多维度展示，并通过多点触控技术，将虚拟的教学模型呈现在实时环境中，提供更加 沉浸式的体验和交互方式，让用户更加深入地了解和感受历史文化的内 涵和意义。

编辑：火腿肠