深度分享:MR交互设计之“存在感”

查看引用/信息源请点击:映维网

所有努力都是为了达到一个终局:消灭虚拟和现实的感知界限。

映维网 2020年05月11日)在科幻电影中,我们常常能看到外星人、怪兽出现在现实生活里。他们之所以能够让一个CG(计算机生成)形象和实拍场景完美地融合,是因为背后做了大量的努力。

本文来自燧光Ximmerse交互工程师卢智雄

首先,相机必须要被六自由度地跟踪,这样模型的移动才能和相机匹配,当然,实拍相机的参数和虚拟相机的参数必须一致(焦距、光圈、ISO等);

拍摄完成后在软件中通过特征点来计算相机运动轨迹

其次,模型本身的建模和贴图有着正确的比例和足够高的精度;

除此之外,模型需要被环境影响,这包含与实拍环境一样的光照(需要在拍摄现场采集HDRI(高动态范围图像)作为环境光照贴图)、被前景物体正确地遮挡;

专业影视拍摄现场采样光照贴图的光照探针(VFX Light Probe)(由akromatic公司生产)

容易被忽略的是,模型需要影响环境,如模型在地面上的投影、镜面上的反射、模型在强光下的反射光、甚至是物理碰撞等等。

在实景中添加光源,使得演员的身体“被虚拟的红色光束照亮“!(出自Tilt Brush宣传片)

可以说,无法区分虚拟和现实的影视级特效是AR(增强现实)和MR(混合现实)在视觉效果上不断追求极致的北极星。

1. 技术限制

理想很丰满,现实很骨感。我们想要的影视级特效在AR和MR里面要实现,还有非常多的限制。

基于智能手机的AR在存在感方面有了非常大的进步,比如高质量的肢体和环境的实时遮挡。

ARKit3.5带来了实时的人物遮挡优化

MR头显则有更多的技术限制,比如无法渲染深色物体、阴影,且虚拟物体无法遮挡现实物体(Mutual Occulusion)。

这都是因为光学穿透MR头显只能往视野里加光,不能减光。

光学穿透MR头显只能往视野里加光,不能减光!

这其实有点像Photoshop里的“变亮”的图层混合模式,而且图层透明度还不能是100%!

有没有能减光的MR头显呢?有!比如视频穿透MR头显,由于是通过屏幕来看现实世界,因此什么内容都可以显示;

VRVANA的视频穿透MR头显(被苹果收购)

或者用一个很笨重且需要校准的头显:

ELMO-4(遮挡效果很赞,但这个设计没办法小型化

这个问题是AR光学的核心问题之一(另一个是兼具大FOV与轻薄),学术界也在不断尝试,每年都有新paper出现,我们一起期待进展吧!

2. 设计指南

不过上述限制并不致命,通过合理的内容设计避坑,我们依然能做出优秀的视觉效果出来。
以下就是我们踩过很多坑后给大家推荐的一些解决方案。

2.1 巧妙地为虚拟物体提供“着地感”

正如前文所说,光学穿透MR头显(HoloLens,Rhino-X和Magic Leap One都属于光这类)无法直接渲染深色物体,也自然无法渲染影子。

但是影子是一个非常重要的深度感知线索,很多时候我们会无意识地通过影子来计算物体离地的高度。

这是飞毯吗?再看一眼

所以影子对于我们判断物体的高度有着极为重要的作用,也在之后判断深度有着重要的参考依据,而更容易判断深度则意味着物体会更加立体!上图中,如果这位女士是悬空的,那么她离我的距离应该与影子离我的距离相当;反之,则应该离我更远,因为视野中越靠上的物体会被认为越远。(这个概念很重要,反复看看上面的图片,琢磨一下!)

其实要解决问题很简单,我们需要通过别的方式来告诉大脑虚拟物体离地面的高度,因为这会有利于大脑最终判断深度和实际大小。

我们尝试了以下这些方法来打造“着地感”(也不仅仅是“着地感”,“离地感”也很重要):

  1. 在强烈反光平面上加入镜面反射。镜面反射也是一个很强的“着地感”来源。

你可以感受到足球紧紧地贴在平面上!

  1. 通过加入强光源照亮阴影周围的地面,使得阴影能被感知。

可能不太明显,但是通过加入一个强光源照亮地面,就能将阴影反衬出来。比较好的设定是一个场地中央的篝火。

  1. 创造一些能与环境(地面、墙面等)交互的物体,如粒子。

火箭爆炸后溅射出来的粒子能将火箭撞地面的感觉表达出来

在轮子、脚上加入烟尘和刹车印也是好办法,注意这里的车灯效果也很好地将车融入了环境之中!

  1. 加入紧贴在地面的UI元素,如代表地面的网格和代表落地点的圆框。

很多策略类游戏都会在角色底下加入一个环,这样就能准确判断出飞行单位的实际位置。像这样的可视化也非常适合应用类型的内容,适用性很广。

2.2 慎重选择颜色

当我为新进入MR界的同学介绍时,我经常需要反复强调的一个点就是:

黑色=透明,深色=半透明
黑色=透明,深色=半透明
黑色=透明,深色=半透明

尽管很简单,但是适应了屏幕媒介的UI设计和美术的人在电脑上设计的时候往往会忽略这一点。如果选择了过深的颜色,物体就会半透明显示,就会“发虚”,存在感也就无从谈起了。

实际上我们通过测试,已经基于Ximmerse Rhino X给出了一个颜色规范。不过,首先我们重温一下HSV色彩规范:

如上图,可以看出来颜色明暗似乎只跟Value(亮度)有关

实际上呢,经过实机测试,也是如此!饱和度和色相对于MR 头显里的颜色的识别是几乎没有影响的。纯绿色和纯白色的物体对于区分背景和虚拟物体没有大的差别。

不过我们很难给出一个很通用的色彩规范,因为这跟设备的光机亮度以及环境亮度都有关系,如果硬要给个公式的话……

一个“也许”普世的计算MR头显内容对比度的方式。对比度大则意味着更容易被看清楚

我们内部在正常室内环境中使用Rhino X进行了一系列的测试,发现亮度低于0.5(基于HSV色彩规范)的颜色在独立显示的情况下对比度不足,我们不建议使用。在制作美术资源和UI的时候都是如此。

很快,你的大脑就会在选择颜色时自动对其分区……

同样,这也意味着我们在打光时不能使用导致“强烈阴影”的光照组合:

什么是“强烈阴影”?就像上图这样,如正午烈日下的阴影。

实在要显示深色物体怎么办?一般只能用边缘高亮(Rim-light)的着色器将边缘勾勒出来:

上图这个蓝色扇叶边缘亮,中央为深色,因此能传达出它本来的颜色偏深的。

以上就是应对不能渲染深色这一MR头显的特性的解决方案。以下附赠几个同等重要的原则。

3. 增强现实,而不是替换现实

Less is more.(少即是多)

密斯·凡德罗这句名言在MR中非常适用。实际上,这应该是一个设计哲学,从一开始的内容规划,到场景设计都要遵循。

为什么呢?VR是将人们环绕在虚拟世界里,而MR则是将虚拟物体添加到现实环境里,而不是替换。当虚拟物体少一些,它们的存在感往往会强一些。

首先,我们不能添加一个环绕着用户的巨大环境,这些环境会显得悬在空中,并且很容易导致晕动症

那如何将环境氛围渲染出来呢?我们可以通过一些点缀型元素或是创造下图这样的岛屿式的环境:

你依然能感受到梦幻的森林氛围

其次,设计小尺寸的虚拟物体。因为当物体小的时候,它不容易被MR头显有限的FOV(Field of view: 视场角)切割,更容易完整地显示。尽量避免物体超出房间外。

一条巨大的全息鲸鱼听起来很酷炫,在头显中看可能就会是这样的…….

不过Rhino X的50°水平×57°垂直FOV远大于HoloLens,因此内容上的限制会小很多!

4. 真实世界里没有“瞬移”

当我们从事MR行业久了,对技术越来越了解,技术的神秘感会逐渐减弱。当我们戴上头显的时候,我们就已经知道即将呈现的虚拟影像是“假的”,其实并不存在。

但对于第一次尝试MR的用户来说,他们很有可能会误以为面前的影像是真实存在的!他们会尝试触摸、拍打甚至躲避虚拟物体。

因此,解释(或者欺骗)虚拟物体从哪里来就很重要了。真实世界中不存在“瞬移”,没有什么物体会瞬间出现在我们的世界里。你可以用传送门、全息投影、烟雾或其他有创造力的方式,让你的角色从无到有进入你的房间。

Invaders里机器人切开墙体进入房间

也可以用扫描、重建、汇集等视觉效果来让你的环境元素出现。

比如这种“进入Matrix”的效果(不过这个不能照搬到头显里,因为纹理过于密集!)

这个强有力的第一印象会贯穿整个体验,会大大提升设定的可信度,并强化你的世界观。

5. 干净、清晰、无锯齿

MR头显目前的角分辨率是比较低的,因此画面更容易出现锯齿感。而锯齿会大大拉低内容的视觉观感。我们推荐至少使用4x的抗锯齿。

左侧未开抗锯齿,右侧开了抗锯齿

锯齿最容易被察觉的地方就是强对比度的边界,而线条更甚,因为线条相当于两个非常靠近的边界。

线条越细,锯齿感越明显

对于Rhino X来说,在4x或更低的抗锯齿级别下,细于3dmm的线条的锯齿感就会非常明显,并在视野里不断“闪烁”。因此需要在UI设计和建模上尽可能避免。

贴图也需要注意这一限制。如果小型物体有着过于精细、密集的纹理贴图,在视野中,细节会互相干扰,也会出现闪烁的情况。

另一个血的教训是:不要使用平行网格状纹理,它们在双目头显中会影响大脑对于深度的感知!

人眼双目计算深度是根据视觉特征来合像,并通过偏移量(disparity)来感知深度。偏移量越大,说明距离越近;偏移量为零,说明距离为无限远。但对重复纹理进行合像时,有多个不同的偏移量(disparity)可能性,也就能感知出多个不同的深度,导致出现深度感知错乱。

6. 结语

如果说VR(虚拟现实)追求的是临场感(presence),即用户好像真的身处另一个世界里;MR追求的则是存在感(existence),即用户好像以为虚拟物体真的在他们身边。

扎克伯格在Oculus Connect6上强调技术和生态的重要性

底层技术和内容生态是XR平台必备的两条腿。在国内,内容生态这条腿是严重发育不良的。MR内容研发和2D屏幕上的内容研发无论从玩法、交互和美术等都有巨大的差异。我们希望这篇指南对社区提高内容质量有所帮助。

-PS:说明-

首页的插画的创作者是郑子越。存在感篇中的恐龙骨架阴影的视频及idea来自于乔亚楠。非常感谢他们的支持!

原文链接https://yivian.com/news/74405.html
转载须知:转载摘编需注明来源映维网并保留本文链接
英文阅读:点击前往映维网合作伙伴 RoadtoVR 阅读专业英文报道
入行必读:深度分析:VR的过去、现在、未来
入行必读:深度分析:AR的过去、现在、未来与现实

更多阅读推荐......

资讯