波导还是光纤扫描？深度解读Magic Leap显示技术
文章相关引用及参考：kguttag
本文术语繁多，如发现错误，希望您能向映维网反馈以修正。
（映维网 2018年02月24日）现任Navdy CTO Karl Guttag希望通过Magic Leap的专利解开迷雾，探讨Magic Leap正在做的事情。Karl Guttag在图形和图像处理器，数字信号处理（DSP），存储器架构，显示设备（LCOS和DLP）以及显示系统（包括抬头显示器和近眼显示器（增强现实和虚拟现实））方面拥有40年的经验。
Karl Guttag将主要讨论Magic Leap于2017年3月24日提交的，并于2017年9月28日公开的专利申请2017/0276948（’948）。在2017年12月20日正式发布产品后，《滚石》为Magic Leap撰写了独家专稿，详述Magic Leap One工作原理、外观、感受以及发展。 Karl Guttag认为没有什么可以比这个专利更能概括说明Magic Leap在显示技术上的方向了。
1. 潜在显示技术
Magic Leap在2017年申请的11项专利中都有一个图表明确说明了一个搭载典型分束器配置和LED照明的硅基液晶（LCOS）显示引擎。早期Magic Leap专利申请突出显示的光纤扫描显示器（FSD）已经被降级为“一些实施例”。在图6，LCOS显示系统（250）正通过一条没有编号的数据线连接至“图像注入设备(360-400)”。
有趣的是，这与Magic Leap在2015年申请的‘939专利不同。 “多个显示器（200,202,204,206,208），或者在另一个实施例中的单个多路复用显示器…”变成了2017年专利的“图像注入设备”。
虽然2015年的专利申请提及了40多次光纤扫描显示器，但专利同时提及了约40次DLP/DMD。但是，‘939专利申请中仅提及了一次LCOS，并且不是作为显示设备，而是作为光学遮挡/遮蔽。
我们先翻翻历史，剥茧抽丝。似乎2015年的图表（根据2014年的申请和2013年下半年提交的临时申请）是假定FSD为主要显示器。但在文件提交的时候，他们开始转向DLP来实现聚焦平面，“光学多路传输”就是DLP实现的连续图像。
“注入光学（2060）”可能是图8A中的“图像注入设备（360-400）”
到在2016年的专利申请中，我们更多地看到了LCOS的身影，而‘789专利中最为突出显示了LCOS。但在其他专利申请中，LCOS仍然只是出现在以FSD作为开头的列表中。
来到2017年，我们看到专利显示了LCOS引擎，并且顺位高于FSD。而大部分相同的专利甚至没有提及DLP。
Magic Leap仍然在托辞说（至少在他们的专利中），光纤扫描显示器（FSD）可能会在未来某一天实现。我曾在2016年11月解释了“不可能是光纤显示器”的部分原因，而一些非常简单的数学可以证明，随着分辨率的提高，光纤的速度将会变得令人难以置信地高。Magic Leap肯定有很多人知道，或者应该知道他们无法提高FSD的分辨率，然而他们却一直在专利申请中写上这一点，这感觉就像是某种宗教崇拜一样。
Magic Leap至今所做的一切，包括公开的和我（Karl Guttag）的消息源所说的，都指出Magic Leap正尝试仅通过两个“焦平面”来解决“视觉辐辏调节冲突”问题。我在2016年11月26日曾讨论过VAC和Magic Leap的一般方法。而最近的专利申请进一步证实了这一点。上面的图表和下面的流程图（结合图19到21A）似乎总结了Magic Leap目前的方法以及他们试图解决的问题。
虽然上面图8A的叠层表明有5层波导，但每种颜色需要3个波导（如果允许更多的蓝色模糊，则只需2个波导）。有关每个深度平面使用3个波导或2个深度平面使用6个波导的示例，请参见上面于2016年申请的‘789专利的图6。
‘948专利叙述了VAC问题（图10A和10B），并且提供了2个聚焦平面是如何减少屈光度（1/焦距）测量的视觉误差量的图示（图15）。图19-21A则说明了他们的方法，而这种方法相当简单，而且可以粗略总结成：
- 根据眼睛聚焦点的位置，选择一个焦平面进行显示
- 如果眼睛聚焦点移动，等待扫视或眨眼，然后改变平面或者如果时间太长，无论如何都要改变平面
- 如果所选平面上的内容超过“阈值”，则“修改图像”（比如说模糊）
尽管这似乎证实了Magic Leap的发展方向，但对我来说，这不够巧妙。实质上，这种方法主要是追踪眼睛及其行为，然后在单个焦平面上生成图像，接下来就将图像中应该失焦的部分渲染为模糊。
这与Magic Leap从DLP转向LCOS的方针保持一致（DLP可以支持多个同步的聚焦/深度平面，而LCOS的速度通常不够快，无法在不产生令人讨厌的颜色场序崩溃的情况下同时支持场序制颜色和聚焦平面）。通过每帧只显示一个深度平面，它将支持使用LCOS。
下面引用专利文件内容：
利用这里描述的技术，我们可以改善虚拟内容的感知呈现质量。例如，可以减少可察觉的视觉伪影，比方说可以降低在不同深度平面之间切换内容时所引起的闪烁，特别是当显示系统以变焦模式操作时。
这种VAC方法似乎与Avegant使用DLP的VAC方法相反，Avegant告诉我他们没有使用眼动追踪，而是让眼睛实时选择焦点/深度平面。尽管我在一年前短暂体验了Avegant的头显原型，但我无法进行进行广泛的评估，包括图像质量。然而，我注意到一个可能会被描述为闪烁的图像问题（映维网：那只是早期原型）。对于Magic Leap的专利，一个值得关注的地方是深度/焦点平面方法容易造成时间伪像，而我们至少可以从这份专利看出，他们正试图缓解这个问题，但不是完全解决它们。
上面是Magic Leap在专利中所描述的内容，“现在参考图9B，一个关于多个叠加波导的例子的透视图”。这就是Magic Leap所宣称的“光子光场芯片”。它们看起来与微软Hololens所使用的波导非常相似。Hololens也在为各种颜色的光线使用堆叠式/分层式波导。另有传闻称，波导制造导致Hololens和Magic Leap成本高昂的主要问题。
如前所述，上面的图9B说明Magic Leap使用了3个波导，每个颜色一个。为支持两个深度平面，必须使用6个波导（如Magic Leap专利2017/0329075所示）。
我们可以将所有的信息串联起来，其表明Magic Leap正使用LCOS作为主要的显示设备，而波导则类似于微软HoloLens。最大的区别在于Magic Leap提供两个焦平面，而一次只显示一个，然后使用软件模糊应该失焦的虚拟对象。他们正在使用4到6个波导的堆叠，分成两个焦平面。
对于波导通过一个场序制LCOS设备，这存在许多已知的限制。也就是说，你可以预期设备将会是类似于Hololens的东西。
2. 光纤扫描/波导/焦平面
尽管你无法在Magic Leap的专利申请中发现“光子光场芯片”的踪影，但他们的确探讨了衍射（主要）波导。我此前曾谈论过光导的主要问题。文章从波导的技术方面谈起，但在专利部分我发现了Magic Leap在光学/硬件上的专利行为。
Magic Leap最初从三个关键技术方面切入：
- 光纤扫描显示（FSD）
- 细薄衍射波导（为实现“太阳眼镜般的外观”）。Magic Leap将其称之为“光场芯片”，其中出射衍射光栅（exit diffraction grating）显示表面焦点
- 通过聚焦/深度平面解决视觉辐辏调节冲突（VAC）。Magic Leap将其称为之“光子光场”。Magic Leap的发明是希望寻找一种方法，各种波导层将通过出射光栅显示不同的表面焦距。
这一切都可以追溯到2013年的幻灯片（上图幻灯片）和他们的早期专利，比如‘253专利中的图8A（出现在多项2015年和2016年的专利中）。你会看到光纤扫描显示器200,202,204,206和208支持5个焦平面。如果FSD有效，那么至少在理论上，你可以轻松在光学上将光纤路由至5个光纤扫描显示器光纤，将5个图像传输至5个平面。
Magic Leap希望通过多个聚焦/深度平面来解决VAC问题，而他们的解决方案高度依赖于光纤扫描显示器，但这永远都不会是一种实际可行的显示技术。由于坚持“光子光场”这个概念，他们令这个错误变得更加复杂，而他们不得不将聚焦/深度平面缩减至两个。
早前的专利表明他们希望/需要5-6个深度平面来解决VAC问题，如‘496专利中的图7所示。在‘495专利中，他们甚至在图9中说明了一个可以支持多于2个聚焦/深度平面的非波导光学系统。
但为了实现“光子芯片”和利用他们的发明，深度平面的数量需要从5-6个大幅缩减至2个。一个在无穷远处，一个在近处。将图像传输至单个堆叠波导，在光学上非常复杂和困难，同时十分昂贵，即便只是两个平面也如此。与此同时，由于仍然存在大量的空隙/错误，目前不清楚两个聚焦平面在解决VAC问题上的效果。
由于他们不得不通过传统的显示器来探索解决方案（首先是DLP，然后是LCOS，最终他们越来越像HoloLens，只是“旁边多了一个包包”），第二个聚焦/深度平面会增加成本和光学复杂度，并且损害图像质量。
跟图8A的简图不同，全彩波导通常由三个物理波导层组成，一个红色，一个绿色，一个蓝色（两层也可以，但会牺牲图像质量）。图11B来自于Magic Leap的‘739专利。
即便我们假设FSD可行，对于他们认为可以通过每个平面增加3个波导来支持2个以上聚焦平面的想法，这不能不算是天真单纯。由于现实图像和虚拟图像要通过的衍射光栅会增加，每个波导都会增加成本和降低图像质量。即便只是2个聚焦平面，根据Magic Leap‘075专利中额度图15B，摆在用户面前的足足有6层波导。
在早期，Magic Leap希望FSD能够解决将各种图像传输至各自聚焦平面入射光栅的问题，但如果FSD不可行，他们将不得不寻找其他解决方案。
他们的专利涉及了许多不同的方法，这表明这他们仍然在探索可行的解决方案。下面我将介绍他们专利申请中的部分方法。
对于‘075专利（图15B），尽管专利仍然认为FSD存在可能性，他们使用了两组颜色，两种不同波长的绿色，两种红色，两种蓝色来照亮一台(LCOS)设备。尽管波长选择在理论上似乎很合理（杜比3-D已经将其应用于电影院之中），但在实践中，聚焦平面之间有可能出现大量的串扰，因为来自一个平面的“绿色”的衍射光栅会影响另一个平面的绿色。此外，专利指出通过增加过滤器来获取更多的波长分离（但这显然会浪费光线）。
在2016年，我写到专利20160327789似乎是最适合的方案。在‘789专利中，他们从位于稍微不同位置的两组LED光源开始入手。注入光学组件进一步分离了两个平面的图像，这样它们将进入两个彼此分离的注入光栅。
Magic Leap专利20170248790塞满了各种不同的技术，采用分束器和其他方法将图像传输至不同的入射衍射光栅（entrance diffraction gratings）。图3和图19是其中一系列方法中的两种。
Magic Leap专利中显示的另一种技术是双面波导，两端设有一个入射端口（如上图）。
所有这些方法都说明了一个问题：为了支持第二个深度平面，它们为对象增加了大量的光学复杂度，而光学复杂度几乎总是会对成本和图像质量产生不利的影响。
3. 为什么光纤扫描显示不可行
对于Magic Leap所做的一切，我认为光纤扫描显示（FSD）是一个“惊天大骗局”。原因是Magic Leap在一开始就煞费苦心地将其当作是他们的“核心技术”，所以今天许多人相信这是一个可行的方案。然而，小学四年级的数学都能证明这是不可能的解决方案。但在2017年，“光纤扫描显示”仍然出现在33项Magic Leap专利之中。
就FSD而言，华盛顿大学HID实验室曾表明，他们能够通过一个光纤投影仪来制作出低分辨率，高失真的FSD投影仪，他们同时发布了论文和专利说明。
也许会说，“只需进一步优化即可”，“摩尔定律”，“合理提高分辨率”……因为随着你提高分辨率，光纤就需要极高的速度移动（分辨率越高，帧速越快）。但即使是在较低的分辨率/速度下，图像都会出现高度失真，而且强度上也非常不均匀。
大家可以在网上搜索“roll length calculator”，又或者直接访问一个名为Handymath的网站（点击前往）。然后参考Ivan Yeoh在2015年的博士论文题目（关于FSD最佳和最新公布的文章），他有180个螺旋，图像中间一圈的名义像素为360，帧率是50Hz。需要注意的是，这不考虑奈奎斯特从网格到螺旋的重新采样。
首先是1mm下的360像素（或者1mm/36）=每圈约为0.00278mm。然后我们增加至1080P（1920×1080像素），这需要1080圈来实现1920×1080像素的图像。
然后我们借助Handymath提供的计算器进行计算（输入和结果如下所示），0.00278mm意味着约6mm的外直径（0.00278×1080×2），输入所有相应的数据我们可以得出10.17米。Yeoh论文中只是180圈，一圈的名义像素为360，而长度仅为0.26米，但仅仅只是要做到这一点，刷新率仍需要达到50Hz。
要通过一块零视觉暂留显示器防止闪烁，你需要将刷新率提高至120Hz（不是50Hz，也不是60Hz）。因为每一次触及外边缘的完整“扫描”涉及一次来回，120Hz就意味着你需要每秒走过240螺旋的长度。
因此对于1080p来说，光纤的移动速度需要达到10.17米×240/秒=2400米/秒。作为参考，声音传播速度是约343米/秒（随温度和空气密度产生变化），所以光纤的平均速度要达到声速的7倍，而且由于两端来回扫描涉及一个“加速—减速回零—再加速—再减速回零”的循环，光纤必须实现一个高于声速14倍的峰值速度。
如果这对你来说不够疯狂，Magic Leap同时需要这么一个光学（清晰的）光纤：能够以所需共振频率移动，同时将其全部控制在一个近乎完美的真空中，所以无论它是什么，它都不会因为空气摩擦而自动燃烧，而且声震不会破坏用户的听觉。更不要说你要防止用户的大脑被震成果冻。如果你能够发现这种神奇的材料，它在来回循环扫描时必须要遵循一条确切统一的路径（特别是在中心位置），否则像素将不会出现在正确的位置，并且/或者会出现像素扭动的情况。
你可以尝试上文的假设，代入不同的数据，但你无法以一种合乎逻辑的方式来得出一个合理的数字。显然，Magic Leap或华盛顿大学的论文或专利中没有任何关于如何实现720p或1080p有效分辨率的解释说明。
关于FSD是一种可行解决方案的说法仍然不绝于耳，而且Magic Leap仍然在专利申请中提及FSD。当然，Magic Leap没有一份论文或专利谈论这个“神奇”光纤的速度。
正如我上次所说，Magic Leap的整个深度平面概念都完全站不住脚。对于Magic Leap专利中所幻想的支持6个聚焦平面，他们需要6×3=18个波导的堆叠，而且需要更加疯狂的光学布线。
