交互技术发展现状及展望分析

工业元宇宙是元宇宙的相关技术在工业场景的应用和拓展。

工业元宇宙以工 业互联网和智能制造为支撑，综合利用人工智能、大数据、人机交互等技术将现 实工业环境中的研发设计、生产制造、市场销售、售后服务等环节和场景在虚实 融合的空间中实现全面拓展，构建出一个 3D、可交互的、数实融合的智慧型空 间，形成出全新的制造和服务体系，达到降低成本、提高生产效率、高效协同的 效果。 人机交互技术在工业制造中的已经得到了广泛的应用，可以有效地提高生产 效率、促进产品质量提升，降低人工成本。在人工智能、XR 等产业的高速发展 下，人机交互正在发生前所未有的变革，重构了人类与设备、人与系统、人与人之间的互动方式、定义了新的交互场景，带来了新的交互体验。给工业生产中的 人机交互带来革命性的创新，最显而易见的表现便是交互方式与交互设备的变革。 工业元宇宙是多模态交互技术的重要应用领域之一，多模态交互技术是指通 过多种不同的交互方式，如语音、手势、眼球跟踪、凝视等，来进行人机交互。 在工业元宇宙中，多模态交互技术可以使得人与机器的交互更加自然、直观和高 效。 在一些新型 VR/AR 的设备中，已经利用多模态的人机交互手段来进行更自然 的人机交互协作。

苹果的 Vision Pro 的三大交互方式，分别为眼球运动、手势、语音命令。 其中手+眼控制是主要的交互模式，眼动用来做目标选择，手势用来做确认。这 也是比较独特的采用无手柄交互的头显产品。 微软的 Hololens 用户主要通过手势、凝视和语音三种交互方式来满足用户 的交互需要。凝视类比鼠标的作用，可以选择目标；然后通过手势和语音来与内 容进行交互。其交互组合有两种，一种是凝视+手势；一种是凝视+语音两种模式。 PICO 总体上还是以手柄的交互方式为主，自研的多模态追踪算法方案 Centaur，将场景跟踪与手势识别融合，手柄+裸手的交互模式的优化思路，解决 了手柄在遮挡情况下识别难的问题，为 XR 交互提供了新的思路。 亮风台 HiAR H100，G300 等设备主要通过触摸板、语音、手势、凝视等综合 的交互方式，通过自研的场景跟踪算法以及大空间定位算法，解决了虚实融合场 景中的目标定位问题。通过多模态的交互方式，满足不同工业应用场景下的需求。

人机交互技术是工业元宇宙的重要的技术组成部分，未来人机交互技术将更加的智能化、个性化、融合化，为工业制造的多场景应用带来更多的便利和效率。 从整体发展趋势上，从现在人机协作的阶段过渡到人机融合阶段到最终的人机一 体的话阶段。 机器向着更加智能化方向发展，人与机器的协作关系也向“人机融合”更进 一步。在人机融合阶段，人类和计算机开始真正融合在一起，通过脑机接口将人 类的意识与计算机连接起来，实现人类的意识和计算机的智能互相交流以解决更 加复杂的任务。 再进一步会进化到人机一体化阶段，在这个阶段，人类和计算机已经彻底融 合在一起，共同智能体。在执行上，人与机器可以同空间同时间合作；在信息传 递上，人与机器进行无障碍的信息传递，并且可以共同学习进步。这种新的共同 智能不仅可以完成更为复杂的任务，还可以自我学习和自我进化。

1.从交互体验上，更强调的是“自然”的人机交互 在工业应用场景中，随着交互设备和交互技术的多元化，以及工业场景体验 要求的升级，自然交互的需求越来越变得重要。自然交互技术是以人的自然表现 形式为基础，目标是让人们不需要借助任何其他设备或进行特殊的操作，通过计 算机、智能设备和人工智能技术等实现人机之间的交互。用户可以通过自己的语 言、姿势、手势、眼动等方式进行与“机器”之间的交互，自然的交互技术将更 加智能、更好地理解人们的需求。 2.从交互模式上，更强调的是“多模态”的人机交互 交互方式呈现出由孤立到融合的趋势，根据不同交互通道的特点和场景适用 性，人们广泛探索触控、语音、手势、人脸、眼动、脑机等多种交互方式的融合 应用，以适应不同情景需要。多模态的交互方式具有多通道数据融合、自适应的 特点。用多模态技术提高机器感知和认知人类意图的准确度，同时构建一个更加 真实的虚拟空间，连接真实世界进行即时、多感官互动，从而满足工业中多场景 应用的需求。

3.从交互场景上，强调是在“虚实融合”的空间中的沉浸式交互 在工业元宇宙环境中，人机交互场景将由现实世界二维平面信息交互拓展到 “虚实融合”的 3D 空间。现实世界中的人可以通过 VR/AR 等显示设备沉浸在一 个虚实融合的环境中，可以在虚实的数字空间、虚实融合的空间，以及现实空间之间做无缝切换。无论是从虚到实，还是由实入虚，人机交互的广度和深度都将 超越目前的人机交互水平。 4.从交互对象上，更强调的是多角色的交互 元宇宙时代的新型人机交互还呈现出交互对象数量增加、交互关系更加复杂的趋 势。在虚拟的空间中，人可以借助数字分身将虚拟人作为自己的交互载体，与其 他角色发生交互活动。在虚实融合空间中， 则构建出“自然人-虚拟人-机器” 多角色交互的场景。虚拟人与机器交互、虚拟人与虚拟人交互、机器与机器交互， 多交互模式并存的状态。