在虚拟现实中创作音乐，演绎才华横溢的世界

虚拟现实非常强调视觉和触觉反馈，但目前除了《Jack White》 、《The Who》和《SoundSelf》提供的多感官体验外，虚拟现实界对于声音方面的探索少得可怜。

阿姆斯特丹的创意编码员及动作图像设计师Sander Sneek希望通过Soundscape，一个虚拟现实音乐制作环境来改变这样的现状。Soundscape不是一个全面的DAW（数字音频工作站），而更像一个虚拟的软音源。头戴三星Gear VR，用户面对的是一个充满未来感的世界，一座大教堂般的建筑之下是一个单片合成器，月亮在远处发着微光。

Sneek制作Soundscape是为了参加Oculus的Mobile VR Jam大赛，最终Soundscape取得了应用体验类的银奖。

在大屏幕上，用户可以添加音符，改变音效或三种乐器中其中一种乐器的音色特点。用户可以独奏，也可以和任意两人合奏。操作时，用户可以坐着，然后通过视线跟踪和点击Gear VR上的跟踪器来输入声音。

Sneek说：“在虚拟现实中，我充分利用现有的设备如Kinect、Leap Motion或Wii Balance Board来创造沉浸感最高的体验，带来最佳的身临其境感。作为一个音乐家，音乐总是发挥着重要的作用，因为在虚拟现实中音效占了一半的体验。音乐，尤其是运用软件来制作音乐，一直是我的一大兴趣爱好。”

Sneek用Unity 3D制作了Soundscape中的视觉部分。声音部分是运用爵士鼓声音样本和实时合成声生成的，完全是由Sneek一点一滴做出来的。他还为Gear VR体验编写了一个自定义数据库。

Soundscape中有一个“音调矩阵”（Tonematrix），这是受Andre Michelle的VR ToneMatrix 实验的启发，该实验还用了Leap Motion设备。Sneek的Tonematrix可以用于增加音符，调整两个波形以形成独特的合成音，和增加四种音效——混响、延长、中止和自定义特效。Drumcomputer可以用于增加和触发鼓声样本，并增加混响、延长和中止的音效。Tone RPG则用于制作“深沉、持续的合成音”，通过调节波形和音效来实现。

Sneek还为声音增添了视觉化的想象——天空中飞鸟的数量根据Tonematrix中产生的音符数量而增减。他还编写了程序，使全球的照明根据Drumcomputer的鼓声样本作出回应，Tone RPG实时生成的波形也会显示在合成器的单片屏幕上。

Sneek希望在Soundscape的进阶版中加入一个取样器，同时增加Drumcomputer的样本数量，增添Volume和BPM控制。他还希望能与阿姆斯特丹的交响乐团合作。

除了Soundscape之外，Sneek最近还发布了Hoverboard VR，一个结合了Wii Balance Board（BB）的VR体验，这个体验是受《创：战纪》和《回到未来》两部电影的启发。Hoverboard VR需使用Oculus Rift和Xbox Kinect。

Sneek表示：“你通过分配在Wii BB上的重量来在虚拟空间中移动。当你向左或向右倾斜时，你会前进或者后退（取决于你肢体是否灵活）。当你向前移动时，你将自动地沿着马路前进，这会让行驶变得更容易，但也会带来眩晕感。当你身体向前或向后倾斜时，你可以在高速路上左右移动。”

Sneek目前正在计划一款基于Oculus Touch和HTC Vive控制器的协作音乐应用，将实现双声道音效。“我相信人们将在VR中共同制作音乐。人们都喜欢制作东西，沙盒游戏《我的世界》和乐高积木就是很好的例子。”

[VIA vice]