〔Part 1〕英伟达在如何为VR的未来重塑显示技术管道

文章相关引用及参考:roadtovr

对于游戏和电影而言,几十年的制作经验和稳定发展的技术已经实现了2D屏幕上的图形潜力,但VR的潜力尚未兑现

映维网 2017年11月30日)对计算机图形而言,虚拟现实,增强现实和混合现实所带来的虚拟体验是一种新前沿。这个前沿状态与当代游戏和电影图形截然不同。对于后两者而言,几十年的制作经验和稳定进步的技术已经实现了2D屏幕上的图形潜力,但前者的潜力尚未兑现。本文来自于英伟达的摩根·麦奎尔(Morgan McGuire)博士,他将介绍英伟达专为虚拟体验优化的全面新系统。以下是映维网的整理。

摩根·麦奎尔博士是英伟达AR与VR研究团队的科学家。他曾为动视和THQ出品的《小龙斯派罗》,《使命召唤》,《漫画英雄:终极联盟》和《泰坦之旅》等游戏系列做出了贡献。摩根是《The Graphics Codex and Computer Graphics: Principles & Practic》的合著者。他在滑铁卢大学和威廉姆斯学院担任教职。

英伟达研究院的站点分布全球,而我们的科学家正在与当地大学进行紧密的合作。我们涉足一系列的研究,包括自动驾驶汽车,机器人,游戏和电影图形等等。

我们在虚拟体验方面的创新包括你可能已经听说过的技术,例如注视点渲染,变焦光学,全息术和光场。本文将详细介绍我们在这方面的进展,但最重要的是展示我们的愿景,即它们将如何改变与计算和现实的每一次交互。

英伟达努力确保我们的每一代GPU都是世界上最好的产品。我们在研究部门的角色是,跳出稳定改进的产品周期,寻求革命性的变化和应用。我们正在努力将虚拟现实从早期的采用者概念推向所有计算的革命。

1. 愿景

我们相信,VR将成为所有计算的界面。它将取代手机显示屏,电脑显示屏和键盘,电视机和遥控器,以及汽车仪表板。无论你是否还可以通过显示屏来感知现实世界,为了简化术语,我们把VR作为支持所有虚拟体验的简写。

我们将目标锁定在所有计算的界面上,因为英伟达的使命是创造变革性的技术。技术只有应用于日常才具备真正的变革性意义。它必须成为我们生活中无缝的组成部分才能产生真正的影响力。最重要的技术是我们想当然的那一者。

如果我们正着眼于所有的计算界面,那么VR游戏呢?今天,游戏对于早期采用者来说是一个重要的VR应用。我们已经通过产品支持这一应用,并且在每个GPU架构上发布新的VR功能。英伟达显然非常重视游戏,并确保它们在虚拟现实中能够表现出色。然而,VR技术的真正潜力远不局限于游戏,因为游戏只是计算的一部分。所以,我们首先从VR游戏开始,但现在这项技术正扩展至工作,社交,健身,医疗保健,旅游,科学,教育,以及计算可以发挥重要作用的所有领域。

英伟达正在为VR革命做出贡献。在1999年推出现代GPU之前,我们已经改变了消费类计算,并为消费类应用提供了高性能计算。今天,不仅只是你的电脑,你的平板电脑,智能手机,汽车和电视都搭载了GPU。曾经仅供超级计算机使用的计算性能现在出现了消费者面前。因此,我们都在享受便利,娱乐和生产力的新水平。现在我们都成为了高级用户,而这要归功于我们设备中隐藏的和广为普及的GPU。

VR要成为无缝我们生活中的一部分,其系统必须变得更加舒适,易用,价格合理,功能强大。我们正在发明全新的头显技术,用基于激光和全息图的细薄型眼镜取代当前笨重的VR头显。它们将如同平板电脑,手机和笔记本电脑一样广为普及,甚至更容易操作。它们可以立即在AR/VR/MR模式之间切换,而且它们将采用几乎与当今技术天差地别的全新GPU和图形软件。

所有这一切创新都指向了一种与计算机交互的新方式,而这不仅需要新的设备或软件,还需要一个全新的VR系统。在英伟达,我们正在用尖端的工具,传感器,物理,人工智能,处理器,算法,数据结构和显示技术来发明这个系统。

2. 理解工作原理

英伟达研究院对正在开展的工作持非常公开的态度,并通过科学出版物和开源代码共享我们的成果。在本文的第2部分中,我将概述我们最近的部分发明。但首先,为了向相关技术和我们对未来AR/VR系统的愿景提供一个现实背景,我们下面先来看看当代电影,游戏和现代VR系统的工作原理。

2.1 电影图形系统

好莱坞动作大片包含真实物体和计算机生成图像(CGI),以此来创建惊人的视觉效果。现代的CGI技术非常发达,好莱坞可以制作完全由计算机生成的场景。 在漫威电影《死侍(2016)》的编排中,场景中的每个对象都是由电脑渲染,并非是真实拍摄。不仅只是爆炸和子弹,还包括建筑物,车辆和人员。

从技术的角度上看,用高视觉保真度来制作上述影像的电影系统可以通过下图进行描述:

从左边的剧本创作阶段,到粒子,三角形和弧形细分曲面的建模原语,再到渲染器,上图包含许多部分。渲染器主要是使用一种名为“路径追踪”的算法来逼真模拟虚拟场景中的光线。

渲染之后还需要手动对2D图像进行颜色和合成的后期处理。整个过程不断循环,而导演,编辑和美工则循序渐进地修改基于视觉反馈的内容,然后再向观众展示。电影级别的图像质量是我们对VR的目标。

2.2 游戏系统

电影图形系统演变成3D游戏中类似的系统。游戏代表了我们的VR交互速度和灵活性的目标,即使是非娱乐应用也同样如此。游戏图形系统如下图所示:

我在这里特意展示了一个“延迟着色”管道。这是大多数PC游戏所使用的技术,因为它提供了最高的图像质量和吞吐量。

像电影一样,这个流程从创作开始,并包含大量的艺术方向循环。游戏为玩家添加一个至关重要的交互循环。当玩家看到屏幕上出现某物时,他们会按下按钮,然后输入将馈送至图形处理管道中的随后帧。这个过程带来了“延迟”,这是由于为新用户输入更新帧需要花费时间。对于一款感觉流畅的动作游戏,传统游戏中的延迟需要低于150ms,所以保持合理的低延迟是一个挑战。

遗憾的是,一系列因素都会增加延迟。例如,游戏使用“光栅化”渲染算法来代替路径追踪。延迟渲染光栅化管道包含多个阶段,而每个阶段都会增加一定的延迟。跟电影一样,游戏流程包含一个重大的2D后期处理组成部分,亦即上图中的“PostFX”区域。就像流水线一样,这条长长的管道增加了吞吐量,并且可以实现流畅的帧率和高分辨率,但复杂性的增加会扩大延迟。

如果只看输出,像素会很快从流水线中出来,这就是为什么PC游戏具有高帧速率的原因。值得注意的是,像素需要在管道中停留很长时间,因为它分成很多阶段。图中红色的垂直线表示栅障同步点。它们放大了一个阶段的延迟,因为在栅障同步处,只有前一阶段的最后一个像素完成后,下一阶段的第一个像素才能开始处理。

游戏管道可以提供惊人的视觉体验。加上精细的艺术指导,它们可以在顶级GPU上实现接近于CGI电影,甚至是真人实景电影的质量。例如,我们可以参考EA的游戏《星球大战:前线II(2017)》。

尽管如此,《星球大战》游戏的最佳画面将比《星球大战》电影的最佳画面更为静态。这是因为游戏视觉效果必须根据性能进行调整,而这意味着照明和几何无法以银幕上那种史诗般的方式发生改变。你可能对相对静态的游戏环境非常熟悉,这种环境只能切换到剪切场景中的大型固定爆炸场面。

2.3 现代虚拟现实系统

现在我们来看看电影和游戏与现代VR的不同。当开发者用游戏引擎开发VR时,他们遇到的第一个挑战是规格的增加。原始图形功耗从每秒6000万像素(60MPix/s)上升至VR的450MPix/s。这只是一个开始…该数字在明年将会增加四倍。

当比较Oculus RiftHTC Vive上的450 Mpix/s和30 FPS的1080p游戏时,前者的每秒像素数目几乎是后者的7倍。这是吞吐量的增加,因为它会改变像素在图形系统中的移动速度。这是一个巨大的挑战,但性能挑战更大。回想一下,玩家输入与像素在传统游戏屏幕变化之间的游戏交互延迟大约为100-150毫秒左右。对VR来说,我们不仅需要增加7倍的吞吐量,同时还要减少7倍的延迟时间。今天的VR开发者应该如何做到这一点呢?我们首先看看延迟。

在下图中,延迟是数据从系统左侧移动到右侧所花费的时间。系统中大部分的阶段能够提供更好的吞吐量,因为它们可以并行工作,但它们同时会延长管道,所以延迟会变得更糟糕。为了减少延迟,你需要消除多个框框和红线。

正如你所预料的那样,为了减少延迟,开发者可以尽可能消除图表上的阶段,如上图所示。这意味着切换回“正向”渲染管道,亦即所有事情都在一个3D通道中完成,而不是多个2D着色和PostFX通道。这降低了吞吐量,然后通过显著降低图像质量进行保存。遗憾的是,它仍然无法提供足够的延迟减少。

帮助当代VR弥补延迟差距的关键技术是时间扭曲(Time Warp)。在“时间扭曲”下,屏幕上的图像可以在不完成整个图形管道的情况下进行更新。取而代之的是,头部追踪数据将发送至渲染完成后出现的GPU阶段。由于这个阶段比较接近显示器,所以它可以扭曲已经渲染的图像以匹配最新的头部追踪数据,这样就不需要完成整个渲染管道。借助一定的预测技术,这在理想情况下可以将感知延迟从大约50ms降到0ms。

现代VR硬件的另一个关键技术是透镜畸变(Lens Distortion)。优秀相机的光学元件至少包含五个高品质的玻璃镜片。但遗憾的是,这十分笨重,体积巨大,而且昂贵,你无法将相当于两台单反相机的设备穿戴在头上。

所以,大部分头显只采用廉价的塑料透镜。这种透镜轻而小巧,但质量不高。为了校正简单透镜带来的畸变和色差,着色器以相反的量来预扭曲图像。

英伟达的GPU硬件和VRWorks软件加速了现代VR管道。GeForce GTX 1080和其他Pascal架构GPU使用了名为同步多重投影(Simultaneous Multiprojection)的新功能来渲染多个视图,其可以提高吞吐量和缩短延迟。这个功能提供了单通道立体影像,同步为双眼进行渲染,并提供匹配透镜的着色。这能直接渲染预扭曲的图像,并且提供更好的性能和更锐利的影像。1080中的GDDR5X内存提供了比前一代高1.7倍的带宽,而硬件音频和物理技术则有助于创建更精确的虚拟世界,从而可以增加沉浸感。

减少的管道阶段,时间扭曲,透镜畸变,以及强大的PC GPU

现在我们已经明确了电影,游戏和VR图形的工作原理,未来我们将继续探索人类视觉感知的限制,并且分享我们正在研究的解决方案。

原文链接https://yivian.com/news/38822.html
转载须知:转载摘编需注明来源映维网并保留本文链接
加入映维网诚聘合伙人(英语翻译、新闻记者、iOS/安卓软件工程师)
读者QQ群251118691
XR开发者QQ群688769630
Magic Leap QQ群493967447
VR资源更新QQ群 648592500
昳华

昳华

嗨,我是昳华,映维网编辑,关注AR/VR产业生态!映维网是中国最大的VR行业信息数据库,有任何问题请不要犹豫在映维网上搜索,或与我交流(邮箱:po@yivian.com,微信:yivian001)。

Yivian 猜您还喜欢...

发表评论

资讯