如何在XR中实现与GUI菜单,键盘输入和指向的基本交互

查看引用/信息源请点击:映维网

随着扩展现实在企业中的普及,人机交互正在进入一个全新的时代

映维网 2020年08月11日)像我们大多数人一样,你对人机交互(HMI)的首次接触可能始于PC的2D图形用户界面(GUI)。最近,HMI已经发展到包括移动设备的控屏传感器所能实现的动作和手势。随着扩展现实(XR)在企业中的普及,HMI正在进入一个全新的时代。

XR将用户沉浸在一个具有规模感和深度感的三维环境中,而这为用户界面带来了全新的可能性和设计考虑因素。与传统的2D GUI相比,它同时带来了其他优势:更大的屏幕空间,更少遮挡元素的干扰,以及更大的空间任务组织灵活性。另外,XR增加了一个更接近于现实世界感知的第三维度。

在这篇博文中,负责高通虚拟现实和增强现实项目扩展的产品经理希伦·宾德(Hiren Bhinde)将简要介绍如何在XR中实现与GUI菜单,键盘输入和指向的基本交互,并分享关键的设计考虑因素,及用于所述交互的基本人体运动。最后,宾德会展示基于高通骁龙XR2 5G平台的感知技术是如何帮助它成为现实。

1. UI元素

考虑到XR固有的3D特性和用户控制其位置和方向的能力,诸如菜单这样的GUI元素可以显示为尊重用户视场的2D叠加层或交互式3D对象。

例如,菜单可以显示为三维对象,而用户可以移动它们,甚至可以将其锁定到环境中的某个位置。这可以在虚拟现实和增强现实中实现,其中用户可以移动、定向和/或操纵它们。对于虚拟现实,这样的菜单可以像任何其他对象一样实现追踪和渲染;对于增强现实,GPS、传感器融合和卡尔曼滤波等技术经常会用来锁定它们的位置和方向。类似地,诸如提供信息的弹出窗口同样需要这样处理。

与传统的2D菜单不同,XR的3D菜单设计呈现了一系列有趣的挑战。例如,当可能没有任何触觉反馈时,如何为按键提供反馈呢?一种解决方案是为功能设置动画,从而渲染相关的接触,比方说一个膨胀圆环,然后再用声音进一步予以增强。

另一个需要考虑的问题是:如果用户按压按钮时超过按钮平面,比方说过于用力地按下,这将会导致什么情况发生呢?如果没有正式的解决方案,用户的虚拟手指可能会穿透按钮。我们可以通过多种有趣的方法进行处理。比方说,如果按钮用力过大,按钮本身会向内平移。

对于模拟鼠标,一种粗糙的3D等效物是一个激光指针。基本上,这是从源位置(如手或控制器)将光线投射到视口中的某个目标的三维指针。光线的方向可以基于手指关节或控制器的方向。光线本身可以从源到目标进行整体渲染,或仅渲染最终目标指针(如十字光标)。

最后,尽管沉浸式XR应用程序通常不太支持文本捕获,但依然存在需要某种键盘输入的用例。所以,我们可以将虚拟3D键盘渲染为悬浮在空间中的对象,并将其放置于离用户一定距离的地方。这对于AR和裸手控制的VR应用程序都非常有用。

就如同Delta Cygni Labs的辅助现实产品POINTR一样,另一个选择是使用语音命令。利用语音命令,用户可以通过言语口头表达出希望系统执行的操作,如显示记事本,然后再说出额外的词句以进行内容载入。

2. 设计考量

尽管实现菜单、指针和虚拟键盘看似微不足道,但它们依然存在大量的设计考量,并可能因AR和VR而异。

设计应该从大量的实体模型和线框开始。不同分辨率和距离的线框(如近、中、远)可用于设置AR和VR中对象的Z-Order。对于AR,用户将以不同位置和角度在3D中看到的2D实体模型能够有效地可视化最终结果,而Gray boxing为3D提供了类似的工具:

另外,应绘制图表以识别两种XR类型的区域,以及它们在3D中的映射方式。如果要使用眼动追踪,则可能需要为每个眼睛复制这类图表。

对于头部追踪,开发者需要考虑舒适与限制,以及内容与外围区域的关系。一般来说,人们可以舒服地将头向左或向右转动约30度,双向最多可转动55度。对于向上运动,舒适度大约为20度至最大60度,向下则是12度至最大40度。区域应该根据所述范围进行识别,同时考虑通过眼动追踪捕捉到的外围区域。例如,下面这个图例说明了内容的可视区域。

对于需要描述大量信息的GUI,根据用户信息的重要性来放置用户信息可能大有裨益。一个合适方法是按优先顺序排列,最重要的信息放在前面和中间,次要信息在侧面,第三次要在底部,第四次要在上方。这与人们阅读报纸头版信息的方式相似。

在AR中,真实世界是一个无限的三维环境,所以开发者无法控制照明等因素。由于数字元素是作为一种附加渲染过程有效地叠加在AR之中,所以当使用浅色呈现时,它用户最容易查看它们。同时请记住,AR可以通过沉浸式3D头显浏览,同时又能够通过利用2D摄像头捕捉世界的2D移动设备浏览,如平板电脑。开发者可能需要处理这两者的输入,因为有用户喜欢一种而不喜欢另一种,或者对一种设备设置了严格的要求。对于头显,开发者应该使用感知技术来追踪头、手和眼睛;对于移动设备,运动传感器和触控屏可以捕捉动作和手势。至于虚拟现实,开发者应该考虑渲染一个完全铰接的骨骼模型和/或控制器,从而准确地反映真实世界的运动。

由于XR本质为3D,开发者需要考虑如何渲染详细的项目。例如,当用户移动和旋转时,头显的角度分辨率将决定要使用的字体大小,而GUI元素的选择则取决于所使用的感知技术。

3. 令上述成为现实的感知技术

需要在XR追踪的三个关键感知因素是头、手和眼睛。用于追踪它们的感知技术必须在很大程度上实现三个关键KPI:

  1. 精度:感知结果与完美结果(round truth)的比较。
  2. 鲁棒性:边缘情况的处理。
  3. 功耗:一种技术或算法的功率和热效率。

3.1 头部追踪

对于应用呈现用户界面,追踪用户头部的方向和平移是另一个重要的考虑因素。头部追踪算法追踪三个方向自由度:纵摇(Pitch)、横摇(Roll)和垂摇(Yaw),以及用户位置(X、Y和Z)的位置自由度。这种算法通常称为六自由度算法。

头部追踪算法通常能够增加预测用户未来头部位置/方向的能力(通常为10到20毫秒),这有助于平滑渲染并确保虚拟对象在空间中保持固定。

头部追踪算法必须持续运行,提供低延迟,并保持低功耗。这种算法的精度要求是很少或没有出现平移和旋转误差。为了帮助实现这一点,骁龙XR2使用了一种名为SLAM的技术来创建一个环境映射。映射环境是为了用于鲁棒、快速和精确的追踪。为了保证算法的鲁棒性,它必须能够处理像摄像头模糊、光线不好等情况。所以,骁龙XR2采用了具有宽视场的特殊单色摄像头,并且搭配了一个硬件加速的头部追踪算法,从而在非常低功耗的情况下以高精度运行。

3.2 手部追踪

捕捉手的运动十分重要,因为大多数人把手作为与自然世界交互的主要方式。这可以通过多种技术实现,包括基于摄像头的手部追踪、移动设备的传感器和触控屏等等。它们可以捕捉到各种各样的动作和手势,包括:

  1. 指向和轻触动作(如选择、移动和放置对象)
  2. 滑动(如浏览屏幕)
  3. 从一侧到另一侧的手部移动(如滚动)
  4. 手腕转动,类似于查看手表(如在虚拟手臂显示用户界面元素)
  5. 通过电容器测量触控(如检测手势,比方说竖起大拇指)。

手部追踪的保真度测量最高可达28个自由度(包括手的所有关节和每个手指)。手部运动的一个重要KPI是允许较大的追踪量,因为用户希望能够张开手臂,抬起手臂和放下手臂。鲁棒性是通过处理边缘情况来实现,如手遮挡摄像头,交叉手指,一只手覆盖另一只手等。

为了允许虚拟手部/控制器的近实时UI交互呈现,手部追踪保持低延迟同样非常重要。对于涉及使用神经网络的手部追踪算法,骁龙XR2能够以高达每秒15万亿次的速度处理基于神经网络的算法。

3.3 眼动追踪

最后,眼动追踪用于追踪用户的视线(或称为注视向量)。

有效的眼动追踪通常需要眼球运动到屏幕变化低于10毫秒的管道。考虑到眼睛的移动速度,这是一个重大的挑战。所以,高通与Tobii进行了合作,将眼动追踪技术带到骁龙XR2的Hexagon DSP SDK,并提供对摄像头的低延迟访问。为了提高眼动追踪的鲁棒性,它应该能够处理世界各地的不同人群的眼睛特征,所以骁龙XR2算法中使用的底层神经网络是通过一个大型、多样化的数据集进行训练。

眼动追踪同时可以通过促进注视点渲染来提高能效。这涉及到以不同细节程序渲染屏幕不同的区域。

4. 总结

随着沉浸式XR体验等新媒介越来越流行,UI设计领域将继续发展。但与传统的2D GUI不同,3D环境及新的交互方式不仅带来了新的可能性,其同时揭示了新的设计考虑。

驱动这一点的是尖端的感知技术,包括头部、眼睛和手部追踪设备。但为了有效地提供所述功能,相关技术必须是鲁棒的、精确的的和节能的。

原文链接https://yivian.com/news/76954.html
转载须知:转载摘编需注明来源映维网并保留本文链接
英文阅读:点击前往映维网合作伙伴 RoadtoVR 阅读专业英文报道
入行必读:深度分析:VR的过去、现在、未来
入行必读:深度分析:AR的过去、现在、未来与现实

更多阅读推荐......

资讯