人工智能行业动态分析-机器人智能化三部曲（二）：Meta及微软篇.pdf

人工智能行业动态分析-机器人智能化三部曲（二）：Meta及微软篇。核心观点：随着各项人工智能技术的不断发展，具备与物理世界交互潜力的智能机器人成为学界和业界的重要研究赛道。近年来Meta、微 软均持续完善其机器人模型领域的布局。2023年8月，Meta推出在少量训练数据情况下便能取得优异表现的MT-ACT模型。2023年2月微软 推出基于ChatGPT的机器人控制框架，将ChatGPT的“知识储备”落实到现实场景中。机器人模型发展百家争鸣，值得进一步关注。

从R3M到MT-ACT，Meta持续探索如何使用有限的数据集实现更优秀的机器人控制。在2022年3月推出的R3M模型中，Meta首次引入人类 视频数据作为机器人控制模型的知识来源，提升机器人模型训练效率。在2022年12月推出的CACTI模型中，使用数据增强技术实现了训练 数据规模高效扩充。2023年8月推出的MT-ACT模型将数据增强技术（基于SAM视觉模型）和动作序列生成技术结合，在7500个原始训练数 据的情况下，在不同难度的测试中分别实现了81.67%、65.17%、31.33%的成功率，小规模数据表现优于其他可比模型。

将强化学习与MoE技术融合， Meta推出机器人控制模型新方案ASC。在2023年4月推出的ASC模型中，先通过强化学习分别对单一任务进 行训练，再通过MoE技术实现不同技能模块之间的有机协同，在模拟场景和两个现实场景中分别实现了94.9%和96.7%/100%的成功率，并 且具备较强的抗干扰能力，能够在环境变化的情况下自动调整完成相关任务的方式。通过将更强的OWL-ViT视觉模型与ASC模型结合，模 型可以根据文本描述来识别更为复杂的物体，有望在更广泛的场景中处理更为复杂的任务。

Meta：机器人模型与谷歌有所差异。谷歌的技术路线在本系列第一篇中有详细描述，而Meta目前工作中尚未将大模型与机器人控制所结合， 且相较谷歌尝试利用大规模的数据集提升机器人模型的表现，Meta的相关工作更加关注如何基于小规模的数据，结合数据增强、人类视频 数据预训练等方式实现通用机器人控制模型的构建，即数据效率方面的提升。

微软：结合自然语言能力，微软提出面向机器人控制领域的新框架。2022年8月推出的机器人轨迹控制模型LATTE，可以识别用户的自然 语言输入调整机器人的运行轨迹。2023年2月发表文章 “ChatGPT for Robotics”，其核心在于通过大语言模型（ChatGPT）来处理用户指 令，进而调用相应的机器人控制API来完成具体的任务。在演示中，经过进一步学习的ChatGPT模型在仅有自然语言输入的情况下，可以控 制机器人利用不同颜色的方块拼接出微软Logo。