Virtual Reality Insider
Guidebook for the VR Industry
VR将成为全球增速最快的技术市场。完美的VR需要各技术的协同发展，但这也暗示着还存在很多不可预估的潜在技术瓶颈。
打造引人入胜的虚拟现实环境的技术已经出现。2015年年底前，VR设备将以经济实惠的价格出售给消费者[1]；2016年年底前，VR将成为全球增速最快的技术市场。若想充分利用好这项技术，就必须了解第一代消费级虚拟现实（后面简写为CV1VR[2]）的功能及其局限性。虚拟现实硬件为娱乐、通信、教育等各行各业开辟了全新的方向。本章将重点讲述VR体验的各个组成部分，阐明CV1VR技术的最新发展，并探索未来可能出现的技术。如果你已经是VR市场、VR技术的专家，完全可以跳过本章。
虚拟现实设备之头戴式显示器
当下，领军的头戴式显示器（Head Mounted Display，HMD）包括Facebook的Oculus Rift、索尼的PlayStation VR[3]、宏达电子公司（HTC）和维尔福游戏公司（Valve）联手打造的Vive及三星的Gear VR[4]。
现状
头显（头戴式显示器）是VR体验的核心部件，当Oculus VR公司首席执行官帕尔默·拉吉（Palmer Luckey）凭借其头显开发用机获得关注时，人们开始意识到VR终于作好了进入消费者市场的准备。从本质上而言，一旦一款前景可观的HMD开发成功，各种资源就会涌入其它有助于提升VR体验的市场。那么到底是什么使得虚拟现实头显成为VR体验的核心呢？
头显视野范围广阔，基本涵盖了人类正常的视野范围。目前Oculus Rift[5]拥有100度视野，接近人眼约120度的视觉范围。这一特性让人们忘记自己戴着头显设备，进而沉浸于虚拟世界之中，这基本上也让你能够在一个完整的人类视野范围中创建内容。
同时，头显还采用立体3D环绕技术。也就是说，这一技术为两只眼睛分别提供了不同的成像，模仿现实中获取信息的方式，带来真实的3D深度知觉。
当你戴着VR头显移动头部时，你的视野场景以相应的速率刷新，目的是允许你像在现实世界中一样，在虚拟世界中环顾四周。这在以前是无法做到的，还会因为时延引发晕动症（Motion Sickness）；然而，现代技术让我们得以欺骗大脑并把这种运动当作了现实。这是通过降低视觉暂留[6]、提高刷新率来实现的，有效地减少了运动模糊，从而降低甚至消除晕动症。
简单来说，CV1头显每秒追踪用户头部运动60~120次，精度为0.1毫米，画面则根据头部运动进行调整。所以，当你转动头部观察周围（虚拟）环境的时候，你会认为（虚拟）环境确实存在于你的周围，而事实则是你脸上戴着一块一闪一闪的屏幕！每秒90帧（90fps）的速度比我们肉眼可以感知到的速度要快，甚至比我们潜意识可以感知到的速度还要快。这一点对于避免由于视野场景刷新和头部运动不同步而造成的晕动症至关重要，我们将在第2章详述。
头显通过置于用户前方的一个独立摄像头或激光扫描仪来追踪用户头部的位置，这个摄像头不仅可以收集现实世界中头部运动的信息，还可以作为控制输入使用——当用户前倾、后仰、左右或上下运动时，摄像头会将这些运动转化为控制输入信息（比如，向左移动或向前走）。如果用户在一个多玩家的环境中互动，那么这些头部运动信息就会直接体现在他们的化身（用户的数字化角色形象）身上。
在CV1VR阶段，我们基本上有了一款能把我们带入一个逼真的虚拟世界的头显，它能让我们的视野被这个虚拟世界填满，就像现实生活一样有深度感，我们环顾虚拟世界的方式与我们环顾现实世界的方式一样。这一混淆我们大脑感知的东西叫做临在感（Presence），我们将在第2章对此进行详述。快速的刷新率+准确的头部追踪+真实3D（立体感）=有临在感的VR。
以下三款头显将在2016年占据大部分的VR市场份额，它们是Facebook的Oculus Rift、Valve和HTC联手打造的Vive、索尼的PlayStation VR。
Oculus VR[7]于2014年被Facebook以20亿美元收购，目标是推出可在Windows电脑上运行（计划最终支持Mac和Linux系统[8]）的售价400美元左右的VR产品。它使用一款特殊的摄像头，可放置于用户前方几英尺的地方进行位置追踪，头显屏幕刷新率为90Hz[9]。Oculus一直在出售其开发用机（即DK2），拥有大批使用其技术和软件开发工具包（SDK）的开发者。Oculus Rift消费版已于2016年3月28日正式上市发售。
和Oculus Rift类似，Vive也是基于Windows系统，屏幕刷新率同样是90Hz，使用一个或多个激光扫描仪作为位置追踪设备。同时，Vive公司会挑选一批开发者，并向他们免费提供数量有限的开发用机。Vive消费版也在2016年4月5日正式上市发售。
PlayStation VR则是基于PS4运行的。索尼也把其开发用机发放给挑选出来的一部分开发者，但获取索尼开发用机的过程最复杂。PlayStation VR使用PlayStation Camera进行位置追踪，其屏幕刷新率最高可达120Hz，同时也可根据不同的体验需求，用60Hz或90Hz进行渲染。考虑到PS4与目前的PC（未来的PC则更甚）相比，性能较低，我预测大部分的游戏都会是60-90fps。该设备预计于2016年上半年推出[10]。
这三大头显的技术从本质上来说非常相似，它们将构成消费者价位中最高端的VR体验。鉴于它们潜在的巨大用户基础，许多开发者都计划开发同时支持这三款头显的内容。
除了这些高性能的头显外，还有几款针对轻度消费者设计的便携式移动VR头显，其中最优秀的要属三星的Gear VR。Gear VR使用三星智能手机（如Galaxy Note4）作为头显的屏幕和运算处理器，并使用Oculus开发的软件，但没有头部追踪功能，因此头部运动的精确度受限。此外，它的屏幕刷新率只有60Hz。尽管如此，Gear VR在被动式VR体验（如电影院）中具有良好的潜力。
谷歌也在加大对Google Cardboard的投资，这是一款用硬纸板做成的VR头显，几乎任何智能手机都可以放进去，但必须用手扶着放在眼前来观看。尽管成本低廉的Google Cardboard能够让人大概感受一下VR，但几乎没有任何临在感，看起来基本上就是一个360照片/视频浏览器。还有许多使用不同镜片和人体工学设计的同类型产品，它们的工作原理基本一致：让你的智能手机变成一台VR设备。
值得一提的是，目前移动VR的发展与顶尖的三大头显相比要局限得多，因此在内容上获得的收益也会少得多。这主要是因为高端头显的买家大部分是忠实玩家，他们愿意花钱购买更多的内容，也更经常使用这些头显；但购买移动头显的人可能只会买几个体验满足下猎奇心理，远不如忠实玩家那么投入。
那么，早期VR市场的规模将有多大呢？根据我对市场的调研，我估计2017年1月前至少有200万台Oculus Rift、PlayStation VR和HTC Vive头显售出，但我认为实际销量将会接近1000万台。这个数字不包括移动头显，它们的销量更难预料，但我预测也会超过百万。BI Intelligence在其市场调研报告中预测2017年1月前所有VR平台将一共售出600万台VR头显。显然，VR在未来预计将呈指数增长，和智能手机的普及率相当。
我们一直在讨论VR，那么增强现实（AR）又是怎样的呢？AR和VR非常相似，AR并不是沉浸于数字世界，而是数字3D物体（即全息图）和实体世界的重叠。总的来说，这是通过使用头显把光投影到用户的眼睛里来实现的，效果与VR类似，但在AR中可以与实体世界互动。AR和VR的区别就好比，AR是擅长移动计算的智能手机，VR是桌面PC或家用娱乐主机。但要注意的是，这一类比其实是过度简化的一种说法——AR的很多功能是智能手机或VR设备无法实现的。在初始阶段，这两项技术是互补存在的：AR用于现实世界，VR用于逃离现实世界，然而未来它们很可能会融合在一起。
目前，AR行业的领军产品是微软的HoloLens。这款看起来有点像遮光眼罩的产品能够十分精确地追踪现实世界的物体。除此之外，用户在一定的视野范围内可以看到具有真实3D深度的全息图。这个效果就类似于用户眼前有一个窗口，窗口内的3D全息图看起来就像在现实世界中一样。视野范围的狭窄和明显的头部追踪时延是这款AR设备[11]面临的两个最大的限制。
另一款AR前沿头显是Magic Leap，已获得谷歌超过5亿美元的投资。尽管该公司一直对其技术闭口不提[12]，但Magic Leap似乎是HoloLens的直接竞争对手。
当然还有其他的头显产品，但它们还远远落后于最强的几家技术公司。这一部分的重点是CV1VR头显将把用户置于一个非常逼真的虚拟世界。
未来
随着头显技术的不断进步，显示器分辨率将会被提高，视野将会被扩大，而时延将缩短，头显的重量也将减轻。这些变化将让VR体验越来越接近我们在现实生活中的视觉体验，并且很有可能与现实生活别无二致。
控制输入
现状
VR头显虽然可以带来绝佳的视觉体验，但要想获得交互式体验，还得添加控制输入。除了游戏手柄外，还有不少不错的动作控制器即将上市，但发展初期的价格会相对较贵。在设计VR体验时，开发者一定要牢记玩家使用的控制输入类型。比如说，使用手柄进行控制和通过真实的跑跳来控制运动的体验完全不同。
Oculus Rift、PlayStation VR和HTC Vive头显都有其配套的动作控制器，并且都采用双操控手柄（一手一个），旨在追踪6个自由度（上、下、前、后、左、右），但表现有所差异。
Rift头显的动作控制器名为Oculus Touch，或许是最有效的输入解决方案，追踪精确、设计舒适、符合人体工学，同时还配备触摸式传感器，除了基本的控制杆功能，还可以使用翘大拇指、食指向前指和手枪手势，共有两个按钮，两个扳机键。但Oculus Touch和Rift头显分开销售配送，Rift头显目前则与Xbox One控制器绑定发售。
Vive控制器也极其精准，给你虚拟和现实中运动轨迹完全一致的感觉。在Vive的展示过程中，展示者会在你戴上头显后递给你控制器。每个控制器上都有一个控制板，作控制杆使用，外加三个扳机键，一个菜单按钮。Vive的激光扫描系统也同样值得称道，两台扫描仪可以划出一块15英尺×15英尺[13]大小的可追踪空间，支持他们所鼓励的“房间尺度”体验。在VR中，你可以在这个范围内自由行走，当你靠近墙壁的时候，它就会在虚拟世界中以网格的方式呈现，警告你即将撞到墙上。Oculus的追踪系统可以用两台相机划出至少13英尺×13英尺[14]的可追踪空间，但该系统不具备适当的“近墙提醒”安全特性，也不鼓励“房间尺度”的体验，因为他们认为“房间尺度”的应用在VR发展初期不常见。
PlayStation VR使用PlayStation Move作为动作控制器，但因为这款控制器研发得较早（2010年），所以准确度是三款之中最差的，不过依然能够紧跟你的运动。每个控制器有四个小按钮、一个大按钮、一个扳机键、一个菜单按钮和一个由PlayStation Camera追踪的光球。但它缺少控制杆，同时其硬件也都无法与Valve/HTC及Oculus媲美。不过，它的优势在于成本较低廉，也有现成的硬件体系。此外，所有的PlayStation4都带有一个DualShock手柄，包含一个摇杆、四个按钮、四个扳机键、一个控制板、一个十字方向键和一个光条，方便PlayStation Camera进行追踪。
Sixense及其他第三方公司提供六自由度传感器，这些传感器可以与控制器结合，或放在身体的某些部位上来实现手臂、腿部、身体和头部运动的跟踪。此外，Virtuix、Cyberith和KAT[15]公司正在研发万向行动平台（又称跑步机），让用户能够在相对固定的位置通过步行或跑步来控制角色的运动。
很多其他的公司，如Servios、VRCade和Protagonist等，都在探索如何在现实空间内打造虚拟现实。它们的系统让用户可以通过在现实世界中的运动来控制虚拟世界中的运动。不过，虽然这种体验沉浸感很强，但也面临着严峻的问题，如空间限制，也就是说必须要根据环境要求来专门设计体验。应对这一问题的技术之一是重定向行走，它通过对虚拟世界的方向进行不被用户察觉的微调来解决空间受限的问题。但考虑到此举需要大量的空间和摄像头，所以这一方案在CV1VR时代可能只适用于虚拟现实游戏厅，而不适合家用。
在VR游戏厅技术方面，最优秀的可能要属The Void公司，该公司利用自己的仓库和头显打造高端的VR体验，带领用户遍历现实的空间。比如，你可以看到面前的控制面板，当你触摸面板的时候，你可以获得真实的触感，因为在仓库内头显指示的位置的确有一块面板。
Leap Motion是一个手势控制系统，能够与计算机结合来实现直观的手部控制。该系统使用多种摄像头来获取动作数据并将其转译为控制输入。Myo是一个可以探测手部接收的脉冲并将其转译为控制输入的臂环，也就是说它可以比你的手更快地探测到运动的信号。虽然这项技术不是专为VR而开发的，但在未来的VR和AR输入设备中将大有可为。
如果你希望自己设计的体验能接触到尽可能多的人，那它必须足够吸引人，并且使用Xbox或PlayStation类的控制器。CV1VR的用户群将分为几个层次：追求最强沉浸感并且有经济能力的重度用户会购买头显和动作控制器，甚至有可能购买万向行动平台或打造VR游戏厅；中度用户可能会选择只买头显和动作控制器；轻度用户可能无法承担或者不愿意在动作控制设备上花钱，但会购买头显和标准的游戏手柄。在开展某个项目之前，仔细了解每种用户群体所占的市场份额是十分重要的。
需要注意的是，移动头显目前的控制输入方式极其有限（1~3种输入），比如Gear VR侧面的触摸板等。因此，移动VR目前主要专注于较为被动的体验。
未来
影片《星际迷航》（Star Trek）中的全息甲板技术似乎已经成为虚拟现实的圣杯。开发者心目中的终极目标是打造一个可以自由运动的体验，在体验过程中，用户可以按照现实生活中的交互方式在虚拟世界中进行交互。这个愿景并不遥远，动作控制即将变得越来越精准，越来越自然，最终模糊现实和虚拟现实间的界限。
触觉反馈
现状
就算有逼真的运动追踪和视觉体验，在虚拟现实中触摸物体的体验却会让这一美妙的幻境瞬间破灭。目前，触觉反馈尚未发展成熟，研发出来的产品要么是美化的震感式手柄，要么干脆没有为用户设计触觉体验，无法为消费者所用。在CV1VR阶段，我们认为用户的触觉和视觉无法精确匹配。
话虽如此，但也不乏有趣的发明。日本的研究人员最近展示了“拉力幻觉”的可能性，从本质上来说就是通过带有方向性的震感制造被拉往某个方向的幻觉。
此外，CyberGlove系统建立了一个触觉工作站，其提供的VR触觉反馈可能是目前为止感觉最真实的。这个大型的触觉工作站不仅能让你感受到物体的触觉，还能让你把双手放在虚拟的物体上。尽管目前这个设备离进入消费市场还很远，但它至少向我们展示了一种可能性。
还有更酷的发明——英国布里斯托大学（the University of Bristol）的研究人员发明了一种让你通过超声波来感知虚拟物体的方法，并将其命名为“超触觉”（UltraHaptics）。这项技术追踪用户与虚拟物体相关的手部运动（使用类似于Leap Motion现有追踪技术），并在合适的时间和位置引导超声波，让你感觉像在触摸全息图一样。
一家名为TacticalHaptics的公司研发了一款震感控制器，其控制器的把手处还带有滑板，实现拉伸或握住物体的感觉。
未来
触觉反馈可能是VR体系中发展最晚的一个领域。随着VR逐渐成为日常生活的一部分，触觉反馈技术的精度将大大提高，到时或许我们穿戴的手套或其他衣物可以根据我们与虚拟世界交互的方式来调节触觉的压力大小和质感。同时，随着大脑研究的不断发展，我们在未来可能通过神经刺激来进行假触击信号的交流。到那时，味觉和嗅觉或许也会成为程序的一部分，虚拟现实就真的和现实别无二致了。
软件引擎
尽管软件设计引擎并不为VR独有，但我觉得还是有必要提及一下。多年来，引擎一直是电子游戏行业设计游戏（或其他3D体验）的框架，大大简化了游戏设计的过程，图形技术的快速发展使很多游戏工作室一度打造了自己的引擎。但随着我们设计出来的东西越来越接近真实世界，新技术在图形方面的差异大大减小。Unity5和Unreal Engine4都是领先的引擎，图像质量高，并且直接支持虚拟现实，使用它们进行项目开发可以省去重复劳动。
软件分发
软件分发的方式已经完全数字化，VR体验几乎将全部通过在线方式进行分发。虽然有很多分发渠道可以考虑，但要注意的是，人们可以下载你开发的所有东西，并且可以在不离开家的情况下进行体验。Valve旗下Steam平台是最受欢迎的PC游戏分发系统，而且也将在VR内容分发中扮演重要角色。此外，Oculus也将拥有自己的在线分发平台[16]，索尼则有PlayStation Store。
另一个值得注意的平台是WebGL——一个JavaScript API（应用程序编程接口），它可以在网络浏览器中渲染3D图像，这意味着所有的游戏都可以直接在网上运行，无需下载。随着网速的提高，这种以云端为基础的分发方式将越来越普遍，因为它可以省去下载和储存内容的麻烦，许多网络浏览器公司都已经开始着手利用这一技术。
动作捕捉和扫描
动画设计师使用动作捕捉技术已经有一段时间。凡是做动画的，必寻找最先进的技术。比如说，Faceshift可以把你的头和脸数字化，并且让你轻松地创造特定的人脸表情。
最近，动作捕捉这一领域最令人兴奋的进步当属Perception Neuron[17]了，这是一套可以准确捕捉全身各个部位运动（包括手和手指）、售价低于2000美元的惯性动作捕捉套装。与之相比，之前类似的动作捕捉套装售价都超过10000美元，基于摄像头的动捕设备则要花费30000美元左右。由于Perception Neuron使用的是动作传感器而不是摄像头，所以非常便携。动作捕捉套装成本的下降对于电影和游戏行业将产生非常重要的影响（思考一下Youtube化的动画），同时也推动我们逐步往经济实惠的VR全身捕捉设备靠近。
目前有几家公司正在研发用于VR影院的支持360度实景拍摄的摄影技术，以及把现实的动作和环境导入VR引擎的激光扫描和光场技术（第3章将有详述）。其中，Jaunt公司在和谷歌合作，专注于研究光场视频技术，这一技术可以拍摄3D360视频，而不是平面360视频。
手持3D扫描仪和袖珍3D扫描仪也在研发当中。一旦成功，人们便可以把物体和房间扫描进他们的电脑里。Matterport公司已经开始在室内空间实践这一做法。传言谷歌也有意将3D扫描技术融入智能手机摄像头中，让每个人都能录制3D信息[18]。
注释
[1]原先计划在2015年上市的消费者设备有三星Gear VR和HTC Vive，但最终只是三星Gear VR在2015年11月上市了，而HTC Vive并没有如约上市，却被推迟到2016年4月才上市。——译者注
[2]这里的CV1并非指代Oculus VR公司的Oculus Rift CV1头显。——译者注
[3]在2015年9月索尼将Project Morpheus正式更名为PlayStation VR，后面统一用PlayStation VR。——译者注
[4]三星Gear VR由三星和Facebook旗下子公司Oculus VR联手研发设计。——译者注
[5]这里的Rift指Oculus Rift DK2，第一代消费版Rift拥有110度视野。——译者注
[6]也有称作“余晖”的。——译者注
[7]Oculus Rift是Oculus VR公司的头显品牌，以前人们习惯用Rift来指代Oculus VR公司。为了更好地理解，这里将原文中的Oculus Rift更改为Oculus VR。——译者注
[8]鉴于所搭配显卡性能不足的原因，Oculus在2015年宣布暂停对Mac和Linux系统的支持。——译者注
[9]原文的fps是个错误，fps指内容的帧率，Hz指屏幕的刷新率。——译者注
[10]索尼在2016年6月E3电子娱乐博览会上宣布将于2016年10月13日正式上市发售。——译者注
[11]原文说这是消费级AR设备，事实上目前（2016年）HoloLens还属于开发版。——译者注
[12]Magic Leap在2016年多次对外公开了一些信息，你可在译者博客yivian.com上找到相关信息。——译者注
[13]约4.5米×4.5米。——译者注
[14]约4米×4米。——译者注
[15]KAT是杭州一家虚拟现实公司。——译者注
[16]Oculus已经推出了Oculus Home在线分发平台。——译者注
[17]Perception Neuron是北京诺亦腾科技有限公司研发的动捕系统。——译者注
[18]谷歌已经推出了Tango技术，并与联想公司联手发布了全球第一款Tango手机。——译者注