机械设备行业分析：机器人大脑是商业化焦点，Sim2real或成主流训练方案.pdf

机械设备行业分析：机器人大脑是商业化焦点，Sim2real或成主流训练方案。从LLM到VLM再到VLA等，模型将机器人泛化性、执行动作的精确度、 物理感知等性能逐步提高。LLM解决了大规模文本数据训练问题，VLM跨 模态突破了文本的限制将图像视频也融入至大模型中，VLA则跨越了图像 视频/文本的感知理解与机器人动作之间的鸿沟。早期VLA更多侧重视觉 信息的输入，随着越来越多用于人形机器人中，触觉（Touch，通过力/ 触觉传感器获取的压力/摩擦力/纹理等信息）输入端也被加入到模型中， 这可以提升模型的鲁棒性。各类VLA模型的性能也在逐步提升：RT-1发 布时只回答了数据集建构和模型设计问题，并没有表现过多的泛化性和迁 移性；RT-2则表现出了强大的泛化性，但其数据收集成本较高；ViLLA则 可以采用无标注的视频来训练，同时也解决了之前机器人生产的动作不符 合物理学问题。

当前虚拟走向现实仍然存在巨大鸿沟，英伟达 Sim2Real 或为未来主流训练方式。Sim2Real的技术原理为利用合成数据生成技术，通过场景随机 化、参数调整等方式让机器人接触大量不同数据积累经验，而后将仿真生 成的精准数据与现实采集的少量数据输入Cosmos，生成更多样、更贴近 真实情况的数据，用于训练机器人模型，使其能更好地适应现实世界。 Sim2Real 的核心纽带是串联3台计算机，第一台是AI超级计算机，为机 器处理信息提供算力基础；第二台是仿真计算机，以Omniverse和Isaac Sim 为核心，让机器在虚拟世界掌握感知与交互能力；第三台是物理AI计 算机，由GROOT、Cosmos和Jetson Thor构成，负责让机器人在真实世 界执行任务。银河通用发布的DexonomySim开源合成数据集即是采用 虚拟数据与真实数据合成而来，真实数据为辅（量少），虚拟数据为主。

海外Tesla Optimus 采用的 AI 模型拟人化程度高，国内北京通用人工 智能研究院有不错进展。Tesla Optimus的AI集成高度借鉴FSD（（核心在 于纯视觉和单一神经网络架构），并于xAI的Gork模型（处理自然语言和 情感互动）深度融合，输入原始图像就可以直接规划出人类想要的动作执 行，不依赖于激光雷达类似的点云图，拟人化程度高，且在尝试让机器人 可以感知自己的身体物理特征（如手臂有多长等）。北京通用人工智能研 究院的科研团队提出了全球首个“力位混合控制算法”的统一理论，无需 使用传感器，相关任务成功率较只使用位置控制的策略提高了约39.5%。 银河通用发布全球首个灵巧手功能性抓取合成大数据集—— DexonomySim，推动具身智能走向实际应用。