Leap Motion详细介绍北极星AR头显的校准系统

文章相关引用及参考：映维网

北极星头显的校准系统

（映维网 2019年02月01日）将新世界变成现实不仅需要先进的软件，这同时是一次与物理定律的较量。对于Leap Motion的北极星头显而言，其有可能是对AR未来交互的一睹。这同时是一次艰巨的工程挑战，因为宽视场显示器和光学元件需要全新的校准与扭曲系统。Leap Motion的Johnathon Selstad日前就这一问题介绍了北极星头显的校准系统，以下是映维网的具体整理：

简单介绍：北极星头显两侧都设有两个屏幕，其面向用户前方的反射器。顾名思义，反射器反射来自屏幕的光线，并将其反射至用户眼睛。

不难想象，这需要高精度的校准和对齐，尤其是AR。在VR中，大脑通常会“粉饰”时间和空间的不匹配，因为我们没有任何视觉上的参照物可以进行对比。但对于AR，我们可以同时看到虚拟世界和现实世界，而这意味着系统需要精确对准两者。

北极星头显在精度和性能方面设置了更高的标准，因为其视场大于任何先前的AR头显。最重要的是，设备光学系统产生了立体发散的离轴失真，而这无法通过传统的径向多项式进行精确建模。

Leap Motion是如何达到这一高标准的呢？仅通过能够忠实表示光学系统的物理几何形状的扭曲模型。模拟光学系统的最佳方法是利用光追（光线追踪），亦即追踪从光源→光学系统→眼睛的光线路径。光追可以模拟来自显示器的给定光线是于何处进入眼睛，因此我们可以精确地映射眼睛和屏幕之间的扭曲。

但这样做的前提是，我们首先需要光学系统的几何形状。今天的小型原型制作技术具备较高的性价比，但代价是机械公差较差（相对于近眼光学系统的要求）。对于北极星的开发，我们需要一种方法来测量这些机械偏差，从而创建有效的扭曲映射。

了解光学系统的最佳方法之一是：用双眼进行亲身感受。通过比较看到的视图与现实世界的参考，我们可以测量系统中组件的总偏差。借助所谓的“数值优化器”算法，我们可以求解光学元件的配置，从而最大限度地减少真实世界参考和虚拟图像之间的扭曲差值。

简单来说，我们发现完全可以在相同的基础3D环境中构建校准系统，处理光追和3D渲染。我们首先在头显内设置了一个较新的64mm模块，并将其指向一块大大的平板液晶显示器。显示器上的图案使得我们可以相对于头显装置对其位置与方向进行三角测量。

接下来，我们就可以在头显渲染一个倒置的虚拟显示器，同时其位置与真实世界显示器相同。如果两个版本的显示器完美匹配，它们会相加抵消并变成同一的白色。以“完美白色”作为参照，模块现在可以测量其中的偏差。

这种“一次性”光度计成本指标允许我们进行快速评估，从而在循环中运行无梯度单面Nelder-Mead优化器。尽管这听起来效率低下，但实际上它可以帮助我们以非常高的精度往正确的配置靠拢。

这可能是故事结束的地方，但有两种微妙的情况可能会导致优化器得出错误的结论。第一种局部极小值的情况在实践中很少出现。第二种情况则与这样一个事实有关：当从单个视角观察时，多个光学配置可以产生相同的几何扭曲。解决方案是，同时从两个摄像头拍摄每只眼睛的光学元件。这允许我们为每个可以从任何角度进行光线追踪的头显带来一个真正精确的光学系统。

在静态光学系统中，通常不值得为每个头显光学模型确定扭曲校正。但近眼显示器并非静态，眼睛位置因很多原因而发生改变，如不同的IPD，不同的头显人体工程学，甚至是设备在头部的逐渐移位。任何一个因素都会对增强现实的沉浸感带来影响。

幸运的是，通过结合光追模型与眼动追踪，我们可以在零成本的情况下实时补偿这种不一致性。