机械设备行业专题研究：人形机器人需要怎样的大模型？.pdf

机械设备行业专题研究：人形机器人需要怎样的大模型？机器人大模型的最终目标是提高人形机器人在不同场景和任务下执行的成 功率。对于限定的应用场景和任务，从决策层、感知层和执行层三个角度出 发，大模型需要具备自主可靠决策能力、多模态感知能力和实时精准运控能 力；为了拓展到多样复杂的应用场景和任务，大模型还需要具备泛化能力和 涌现能力。目前大模型不断迭代，已出现包含多种能力的“全能选手”，但 仍存在感知模态不足、实时性差和泛化能力弱等问题。未来需要不断优化训 练模型结构、训练方法和数据集，将多模态感知信息纳入模型，同时提高控 制指令的生成速度和大模型的泛化和涌现能力。

人形机器人长期存在高需求+低供给矛盾，通用性受限为核心原因

人形机器人长期存在高需求+低供给矛盾。1）高需求：人形机器人的潜在应 用场景广泛，包括工业生产、日常生活和灾难救援等；2）低供给：复盘人 形机器人发展史，从早稻田大学的 Wabot 到波士顿动力 Altas，机器人运动 性能大幅提升，但未实现大规模商业化应用。我们认为，人形机器人追求极 致的运动性能意义有限，其未能大规模商用的核心原因是通用性受限，通用 性受限体现在用户主体要求高和应用场景局限两方面。通用性受限带来的商 业化落地困难，也使得硬件成本难以在规模效应下显著下降。

大模型充当大脑实现任务级交互，可大幅提升通用性

波士顿动力 Atlas 通过多种硬件设备实现了跳跃、后空翻等高难度动作，运 动能力远超近年发布的人形机器人，但这些动作源自提前创建的行为库。我 们认为，硬件不是掣肘，软件阻碍了通用性的提升，软件升级后可以打通“软 硬件升级-商业化应用-研发投入增多”正循环。机器人的控制软件分多个层 级，其中任务级为最高层级，实现任务级交互可以大大提高人形机器人通用 性，一方面用户主体可由工程师转变为普通用户；另一方面应用场景可由限 定场景转变为开放式场景。而大模型的能力恰好与任务级交互的需求相匹 配，为人形机器人理想“大脑”。

机器人大模型需具备 3+2 种能力，迭代升级后初现全能选手

对于限定的应用场景和任务，大模型需要具备自主可靠决策、多模态感知和 实时精准运控能力；拓展到多样复杂的应用场景和任务，大模型需要具备泛 化能力和涌现能力。现有大模型不断迭代升级，拓宽能力圈，我们按照发布 时间依次对各种大模型进行分析：SayCan 为实现自主可靠决策做出贡献； Gato 为实现多模态感知做出贡献；RT-1 为实现实时精准运控作出贡献； PaLM-E 将自主可靠决策和多模态感知相结合；RoboCat 最重要的贡献是可 以自主生成训练数据集；RT-2 将 3+2 种能力全面结合；RT-X 在经过多个数 据集训练后，多种能力全面提升。

感知模态/实时性/泛化能力问题需依靠训练模型/方法/数据集共同解决

目前大模型存在感知维度不足、实时性差和泛化能力弱等问题。感知方面， 现有大模型主要包含视觉感知，以学习雕刻为例，仅依靠观摩而不动手操作， 很难彻底掌握这门工艺，因此多模态感知是必然趋势；运控方面，现有大模 型的指令生成速度较慢、生成结果简单，短期来看，底层运控仍需依靠传统 机器人算法；泛化能力方面，RT-2 在未知复杂环境中的执行成功率仅为 35%。我们认为，未来需依靠训练模型结构、训练方法和数据集的改进，将 更多模态感知模态纳入模型，同时提高运控指令的生成速度和泛化能力。