从SDK看Magic Leap要做什么，具备什么功能
文章相关引用及参考：映维网
我们需要等到设备在今年下半年上市后才能知晓答案。
（映维网 2018年04月13日）在不久前，我写道Magic Leap可能将主要从他们发布的专利入手。尽管专利确实提供了他们正在研发的项目的线索，但Magic Leap没有公布产品将具备的功能。在当时，一系列的功能都不存在。
但现在它们已经正式出现:
- Audio（音频）：支持立体音频输出和语音麦克风录制。
- Camera （摄像头）：摄像头可以捕捉静态图像与视频。
- Dispatch（调度）：允许应用程序利用Magic Leap浏览器或其他应用来打开URL。
- Eye Tracking （眼动追踪）：能够检测用户眼睛的注视点位置。系统同时可以检测眨眼。
- Graphics （图形）：OpenGLES，Desktop和Vulkan渲染通道。
- Hand Gestures & Key Point Tracking （手部姿势与关键点追踪）：识别用户的手部姿态（手势），并且追踪可识别点在手指指尖上的位置，如食指指尖。
- Head Tracking （头部追踪）：支持完整的6自由度头部姿态追踪。
- Image Tracking（图像追踪）：追踪用户环境中指定图像目标的位置和方向。
- Input (Control / MLMA Support) ：从Magic Leap Control中检索3自由度（方向）或完整的6自由度（位置和方向）。检测按钮和触摸板按下动作，以及模扳机键。触发值范围从0到1。支持一系列的触摸板手势范围，同时支持触觉振动和LED铃声反馈。用户界面无缝兼容Magic Leap Controls和Magic Leap Mobile App。
- Light Trackin（光线追踪）：提供用户环境周围光线的信息（亮度，全局色温）。
- Media Codec （媒体编解码器）：底层，硬件加速的媒体编码与解码。
- Media Player （媒体播放器）：简单，直接的媒体播放界面。
- Meshing （网格划分）：将世界深度数据转换为可用于遮挡和物理的联网三角网格。
- Music Service （音乐服务）：支持连接和收听流媒体音乐服务。
- Occlusion （遮挡）：一个将深度数据提供给Magic Leap平台以处理硬件遮挡的界面。
- Planes （平面）：识别用户环境中放置内容的平面。这包括天花板，地板和墙壁的语义标记。
- Raycast （光线投射）：发射光线并获取与世界深度数据相交的交点。
- Secure Storage （安全存储）：将应用程序的数据保存到设备的加密存储。
根据这份列表和开发文档其他信息，我们可以更好地猜测Magic Leap One的功能，以及其面临的挑战。
1. 眼动追踪
根据其效果，眼动追踪将成为Magic Leap十分关键的一点。由于没有触摸屏或鼠标操作，在混合现实中进行选择一直都是挑战。手势的准确度或许没有你想象中那么高，而采用头部姿态进行操作则意味着你需要付出大量的头部运动。如果能够单纯看向一个对象，然后通过眨眼或采取一定的姿势来实现操作，这将成为一个重大的进步。
2. 手部姿势
Magic Leap One将支持8种手部姿势。这显然多于HoloLens。结合眼动追踪，这种手势将形成Magic Leap交互的基础，至少对不采用控制器的应用程序而言是这样。
3. 控制器
Magic Leap控制器具备你所期待的一切基本内容：触控板，Home键，扳机键…但这个控制器同时支持6自由度追踪。我们暂时不清楚具体的精度，但单纯通过加速度计提供方向和位置数据是一项相当困难的挑战。正如映维网过去所言，Magic Leap似乎采用了磁性追踪来促进这一点。位于Lightwear侧边的突起空区有可能是装载了磁性追踪所需的磁性线圈。如果事实确实如此，我们有可能看到Magic Leap实现可以比拟Vive的追踪精度，但无需笨重的外部摄像头或基站。
文档中揭示的另一个细节，但尚未详细说明的是：Magic Leap移动应用程序的存在。这款应用程序可能用于安卓和iOS，并作为Magic Leap的控制器。文档暗示，它会将智能手机的触控输入传输到Magic Leap，这样智能手机就能像Magic Leao控制器上的触控板那样工作。我认为这可能表明Magic Leap有可能将单独出售控制器，而如果你不想为其进行投资，你可以把智能手机用作是控制器。
4. 遮挡/深度映射
Magic Leap直接在API中支持遮挡。遮挡是一个众所周知的难题，以前的消费设备都没有很好地予以解决。它需要准确的深度映射，而这正是困扰着Tango和HoloLens的地方。在非常特殊的情况下，这些设备可以很好地支持遮挡。我怀疑Magic Leap将采用一定的预测性判断，有可能通过机器学习来更好地支持遮挡。
文档表明，Magic Leap采用了基于IR的深度传感器，与Project Tango和Hololens类似。这意味着它们难以支持明亮的日光和昏暗的材料。
文档清楚地表明，这不适用于动态的移动对象。它指出：“系统预计环境大部分是静态，而变化（例如移动的对象或行走在设备前面的人员）只是偶尔发生。对于小的变化，重建应该可以在数秒内缓慢更新以添加新的对象或删除移动的对象。显著或持续变化的环境可能将导致洞孔或不正确的几何形状。”
这意味着如果有人进入你的视场中时，遮挡将不起作用。数字对象将出现在它们的前面。我们希望Magic Leap能够在未来的迭代改进这一点。
5. 图像追踪
图像追踪功能直接集成在Magic Leap SDK中。这使得Magic Leap能够识别给定的图像，并追踪其在现实世界中的位置。这不是我期望在API层看到的功能。我设想了这么一款应用程序，它能够令墙上的艺术品生动起来。下面是一个例子（但这个体验不是运行在Magic Leap上）。
6. 对标ARCore/ARKit
SDK同时包含平面检测和光线追踪等功能。对此，这已经成为AR工具包的基本要素。
7. Lumin OS
Magic Leap将运行名为Lumin OS的定制操作系统。Lumin基于安卓，但经过了大量修改以支持空间计算的要求。这对开发者来说是个好消息，因为这意味着任何具备安卓或linux经验的开发者都将在一定程度上熟悉Magic Leap的平台。这同时意味着Magic Leap没有尝试重新发明一个全新的工具，而是利用安卓开源项目的多年积累。
在上面列出的功能中，我们看到了Dispatches的存在。这听起来像是Android Intent系统的重命名。这项功能允许你为特定的行为选择特定的应用程序，例如选择默认浏览器。尽管目前尚不清楚Magic Leap是否允许用户选择默认应用程序，或者说他们是否会强迫用户选择他们自家的应用程序，但这仍然是一个很好的迹象，因为说明了我们在这个平台上有着更多的选择。
8. 效果？
文档已经说明了我们可以期待Magic Leap将有着怎样的功能。就以往而言，从来没有这样一款如此小尺寸的设备能够像Magic Leap One那样拥有如此多的功能。但关键的问题不是有多少功能，而是具体的效果如何。控制器的追踪是否精准？图像保真度如何？眼动追踪的精度如何？我们可以期待怎样的GPU/CPU性能？你可以为设备提供世界上所有的功能，但如果效果糟糕，这一切都不再重要。对此，我们需要等到设备在今年下半年上市后才能知晓答案。
