Tested采访扎克伯格：揭秘四款VR原型机更多细节

本周，Meta Reality Labs公布了4款VR头显原型：Butterscotch、Starburst、Holocake 2和Mirror Lake，显示分辨率、动态变焦、亮度和HDR、技术综合体等。

同时，科技博主Tested亲自潜往Reality Labs体验这些原型，然后与扎克伯格讨论，信息量也很大。

相比于Meta官方视频，Tested进一步了解Meta VR发展路径、产品设计理念等细节。从本文的大量图像中，您将清楚地看到它Reality Labs多年来迭代技术。并将作为周二文章的进一步补充，相关阅读：《Meta公布四款VR提出视觉图灵测试概念的原型机。

Tested采访Meta CEO马克·扎克伯格

帮助VR视觉图灵测试

此前，扎克伯格提到了一个叫做视觉图灵测试的概念，它的标准是判断人眼能否区分虚拟和真实，即VR和物理世界之间的区别。为了通过视觉图灵测试，仅依靠显示技术并不够，还需要优化软件、芯片、传感器等部分。Reality Labs目标是解决所有和VR从多方面帮助相关问题VR视觉图灵测试。

因此，Reality Labs包括产品团队(负责研发和迭代)Quest）、科研团队(负责打破技术局限，解决VR底层技术问题)。Meta科研团队的目标是在几年后发布VR头显、AR眼镜做准备。

对于VR就显示技术而言，目前需要解决的问题比传统显示屏（电视、电脑、手机屏幕等）更为复杂，需要从多方面突破技术局限性。比如，由于VR视角和显示区域通常比手机或电视更宽，因此VR屏幕需要更多的像素才能清晰显示。也就是说，VR为了达到类似的视觉清晰度，屏幕需要比传统屏幕更高的分辨率。这也意味着，VR屏幕更耗电。

另一方面，VR为了营造3D视觉效果通常需要两个屏幕。与2相比D屏幕，VR图片像真实环境一样具有空间感。如果这种空间感支持动态变焦，视觉效果将更加自然。就像当你读你手中的书时，你的眼睛聚焦在附近，当你看窗外时，你聚焦在远处。仅仅依靠一个屏幕通常无法模拟人眼变焦。

简单来讲，VR由于显示性能高于传统屏幕，因此需要比传统屏幕更高的显示性能VR本质是模拟现实。HDR就功能而言，尽管市场上有一些功能HDR电视可以显示丰富的光影对比，但真实环境中的光比市场上最端HDR数量级的屏幕更高。

因此，如果VR要模拟逼真的阴影和生动的色彩，需要渲染大量的光影，这也非常耗电，需要较小的电池才能达到轻量化的外观。

扎克伯格说：视觉图灵测试有两个关键点，即照片级的真实感和临场感。事实上，VR随着视觉清晰度的提高，通过立体空间、空间音频等方式实现一定的临场感，VR社会临场感会越来越强。

关于产品体验

为了解决VR显示技术面临的问题和局限性，Reality Labs科研部门的DSR团队多年来一直在探索。团队(显示系统研发)负责人Douglas Lanman表示：DSR在过去的几年里，团队开发了大量的研发AR和VR这些原型技术可以在未来五到十年内应用于原型，可以放置整面墙。

本文将重点关注之前公布的一些VR原型，如Half Dome系列、Butterscotch、Holocake 2等等。

1，Half Dome原型

这是某种基础Rift改造的VR头显，其特点是采用可变焦透镜，类似于自动对焦摄像头。Half Dome配备多层高动态范围透镜组，之前的方案是利用机械移动透镜实现变焦，并开始采用电动驱动方案，以提高动态变焦速度。扎克伯格说，这种动态变焦方案需要改进，然后才能向消费者发布，预计需要5到6年左右。

Half Dome基本上是在Rift但是在改造的基础上，Half Dome和Rift显示长宽比不同，Half Dome视角更宽，可达140°。这是因为，Meta将Rift屏幕相当于90°垂直旋转，横过两个垂直布局的屏幕，长度更长，高度比以前低。此外，还配有更大的菲涅尔透镜，IR LED步进电机变焦装置的眼球跟踪模块，轻而安静。

Lanman还展示了Half Dome四个迭代原型：

Half Dome 0：将Rift屏幕做成可移动式，并加入步进马达、导杆、四轴飞行器、阻尼器（静音降噪）。在Half Dome 0上，DSR如果将视觉变焦范围设置在20厘米到无限距离，则发现VR屏幕的实际移动范围约为7-8mm(这是由透镜参数/焦距决定的)。

Half Dome 0

Half Dome 1：重点是改善视角，测试图像变形压力。因此，它的屏幕是水平的，有一定的角度，目的是接近人脸的弯曲弧度，但这通常会导致光学畸变，需要结合眼睛跟踪来纠正。

Half Dome 1

Half Dome 2：2019年研发项目的重点是改进VR头部显示器的舒适性。因此采用短焦Pancake透镜来取代Rift菲涅尔透镜的优点是使机身更薄。此外，折叠光路采用偏振特性。

菲涅尔透镜vs Pancake透镜

为了进一步降低电机的振动噪声，DSR将步进电机改为音圈，用弯曲的小弹簧代替导杆，以减少摩擦等物理接触。

Pancake模组的折叠光路

在Half Dome 2原型中，DSR尝试步进电机，Pancake镜头、音圈，甚至尝试了隔音膜、弯曲轴组合。

Half Dome 3：从第三代开始，Half Dome透镜从机械系统升级为电子变焦系统，其优点是机械噪声和振动较少。在细节方面，该电子变焦系统采用几何相位镜/Berry相位振器结合后，相位透镜结构可以极化光线，改变偏振方向。多个焦点平面可以通过多层叠加这种结构来实现。比如，Half Dome 有32个可切换焦点平面。

几何相位镜/几何相位镜/Berry相位透镜结构

然而，由于几何相位透镜上的电极吸收蓝光，它看起来有点黄。叠加层越多，黄色越明显，甚至影响透光率。此外，还需要结合适当的畸变校正算法。

据了解，通过调整SDK，Half Dome几乎可以运行一切Rift游戏。体验者说，使用Half Dome动态变焦玩《Lucky’s Tale》当你等待游戏时，你可以把手柄移到你面前，抓住虚拟物体近距离观察，效果足够好。眼球可以快速适应VR图像变化，对焦清晰，舒适性足够好。

扎克伯格说:除了游戏和社交，未来VR办公室也是一个关键的应用场景。在工作场景中，清晰舒适的文本阅读能力非常重要，人眼可以专注于附近的文本，就像看电脑和阅读一样，眼睛和文本应该保持一定的距离（不到半米）。此外，动态变焦对文本阅读也非常重要，它允许你随时调整眼睛和文本之间的距离，帮助缓解视觉疲劳，提高阅读舒适度。

2，Butterscotch原型

Butterscotch特点是分辨率高，PPD达55。目的是探索VR分辨率的极限，比如未来分辨率上升到什么水平，视觉上升的空间越来越小。现有的文本阅读场景VR屏幕上显示的文本可读，但分辨率不够高意味着长时间阅读文本体验不够舒适。为了优化文本阅读体验，需要进一步改进VR分辨率。

不过，VR其他软硬件技术也限制了分辨率，如3D图形软件和引擎可渲染的像素数量有限，不能充分利用高PPD屏幕或电池容量有限，不能长时间为高分辨率屏幕供电。GPU、CPU、散热等因素也会带来限制。

Meta Reality Labs科研部门DSR团队光学科学家Yang Zhao解析Butterscotch定制透镜模组：其中包含两个高精度玻璃镜片，优势是表面质量更高，缺点是重。此外，还有一个可衍射光线的特制透镜，与Half Dome 3使用的透镜相似。

这种衍射透镜的特点是，它可以以相反的顺序分散光线(与玻璃透镜)。玻璃透镜和衍射透镜组合后，可以显示清晰的图像。

Butterscotch的PPD虽然达到55，但现阶段搭配3K在实现分辨率屏幕并缩小视场角之前，FOV仅为多数VR一半的头显，也就是50°左右。

值得注意的是，为了测试PPD对于VR视觉效果的影响，Butterscotch的PPD可手动调节。Tested发现PPD35以上时，离他两米远的文字就足够清晰可读了。PPD模式下，Butterscotch达到了清晰度Tested经历过的最高水平可以看清楚VR场景中的距离更远。

除了文字，VR图像纹理、生动色彩等元素的渲染效果也很细致

上述研究主要是为了探索VR显示的可能性，与此同时，FRL的其他团队也在从事其他VR研究，比如：图形管道、传感器等等。

3，Starburst原型

这是一个号称具备真正高HDR功能的VR原型，其背光的最大亮度可达到现有VR头显的200倍（高达20000nit）。

开发Starburst的目的是，为了在VR中还原完整的室内照明，并进行用户调研，探索沉浸、逼真的VR所需的理想亮度。

细节方面，Starburst采用了COB LED（板上芯片LED，常见于汽车前照灯）来取代原来的LCD屏幕背光，好处是大大提升了LCD的背光亮度，但同时产生更多热量，因此Starburst还配备了风扇和3D打印散热底架，整体设备比较笨重，而且相当耗电。

3D打印散热底架

有趣的是，Starburst采用了两个堆叠的LCD屏幕（单色LCD和彩色LCD），目的是提升屏幕对比度。Reality Labs Research科研经理Nathan Matsuda表示：由于LCD的对比度有限，如果只使用一个LCD屏幕，那么在高亮度模式下，虽然白色更白，但黑色并不会更黑，反而更亮。此外，叠加两块LCD也会将8 bit屏幕升级为16 bit。

实际上早在2016年的一项专利中，苹果就提到一种多层LCD面板堆叠的结构，目的是提升HDR LCD屏幕的对比度。此外，京东方也曾推出LCD双层Cell面板，用于搭载HDR技术，可实现500000:1超高对比度。

双层液晶面板可大幅提升LCD屏幕的背光分区，从而降低高亮度可能产生的光晕问题，并提升黑白对比度。

相比于支持高对比度的Micro LED方案，双层LCD在成本上更具优势，更适合消费级VR产品。不过，双层LCD的响应时间和厚度，也是未来需要优化的两个问题。

此外，Starburst采用了菲涅尔透镜，用来汇聚光线。为了进一步控制光线，光学模组的目镜部分还采用了挡板、深色涂层等设计。除了菲涅尔透镜外，还尝试采用消色差双合透镜，来提升对比度。

体验者表示，Starburst展示的HDR视觉效果足够逼真，他看到了一个在静态日落场景中，反射阳光的金属球，视觉观看足够接近现实。扎克伯格指出，即使VR不具备视网膜级分辨率，利用HDR照明也能渲染出逼真的画面，甚至能渲染出深度。

与此同时，提升光学显示效率则十分关键，比如可以结合准确的眼球追踪技术，将光线投射到人眼中，避免无效的照明，从而降低功耗和散热。

另外，也需要通过优化透镜来提升光学效率。扎克伯格表示：尽管Pancake透镜可支持更高的分辨率，但实际上它的光学效率比菲涅尔透镜更低，为此Reality Labs也在致力于优化Pancake透镜的透光率，提升效率。

4，Holocake 2

Holocake 2采用了全息透镜和Pancake透镜组合，优势是可以将VR头显做的更薄，长时间佩戴的舒适感更好。

缺点是效率不够高，可能需要采用分体式设计，为其供电。扎克伯格认为，VR头显在2030年之前，可能会更接近Holocake 2这样轻薄的外观。

相关研究细节1，2

目前，Holocake 2原型经过设置已经可以运行PC VR游戏。体验者表示：Holocake 2的视觉效果达到了Quest 2的水平，但它的佩戴重量却轻很多，而且戴起来看着更像是护目镜，而不是一个放在脸上的盒子。

VR透镜迭代

对于VR显示技术来讲，光学透镜和屏幕是紧密关联的，因此更换或修改屏幕参数/类型，意味着透镜也需要改变。在Quest时代，Meta采用了菲涅尔透镜，而Half Dome 2则采用Pancake透镜，Holocake 2采用全息+Pancake透镜（Holocake 2）。

目前市面上的一些消费级VR头显采用静态畸变校正方案，来优化透镜造成的画面失真，原理主要基于对渲染图像的预先扭曲。但这只能解决静态畸变，动态畸变（移动的眼球通过透镜看到的画面畸变）难以矫正。为此，DSR决定采用眼球追踪技术，根据实时的注视点变化，来校正动态畸变。

为了模拟不同的屏幕和透镜配置，加速迭代动态畸变校正方案，DSR团队设计了一个光学畸变模拟器。即利用软件来模拟整个VR头显光学配置，这对于开发光学畸变校正算法尤其有效。

其组成部分包括：2D大屏电视（模拟畸变图像）、与电视同步的主动式快门3D眼镜（营造3D效果），还有一个固定头部的旋转支架。

当科研人员将下巴放在支架上时，支架会根据他的头部旋转，来实时更新头部和眼球模型的位置。同时，算法会根据头部和眼球模型来计算前庭眼球反射运动（VOR），并合成对应的图像失真。

而模拟不同透镜的畸变，则是通过一个叫光场传送门的算法，该算法可合成虚拟透镜。

除了模拟透镜畸变外，该方案还可以模拟不同显示屏角度对显示效果的影响。倾斜的屏幕可以更贴合人脸弧度，这种有弧度的头部包裹式设计可能会成为VR的未来发展方向，好处是外形可以更加轻薄、更符合人体工学、视场角也可以更大。

Meta技术路径

在VR领域，Meta是当之无愧的领军者，甚至在Reality Labs上投入数百亿美元，研发十年内VR将需要的技术。那么，Meta为什么要内部自研显示系统，为什么不和供应商合作开发？

对此扎克伯格表示：VR显示是一项新技术，其技术堆栈和路径与手机、电脑、电视屏幕完全不同，而且市面上没有现成方案。因此当Reality Labs的研究成果应用于VR产品时，通常都会领先于市场中任何同类产品。

Rift等早期的VR头显曾采用现成的屏幕、传感器技术，而随着VR技术发展，便开始更加依赖定制、自研。而Reality Labs的角色，则是抢先去探索未来VR发展将需要的技术，并为之打下基础，为未来十年做准备。

尽管Reality Labs在同时开展多个研究方向，但Meta目前还未透露一个明确的AR/VR技术发展路径。那么对于Meta来讲，这些技术的优先级是怎样的，哪些技术会率先应用于未来的产品中。

扎克伯格表示：每项技术突破会解锁对应的应用场景，不同应用场景的优先级将影响技术研发和推出的顺序。另外一方面，Meta技术发展的一个重点是缩减AR/VR的体积、成本。

短期内，Meta可能会针对不同类型用户和应用场景推出不同价位的AR/VR产品，也就是拥有不止一个产品线，每个产品线具备的功能、配置也有差异。而长期的目标，则是在一个AR/VR设备上应用全部的高端技术，或是降低专业产品线的技术成本，应用于消费级产品线中。

扎克伯格表示：AR/VR硬件技术和市场还在发展阶段，只有当产量大幅提升时，成本才能降低。因此，针对不同的用户群体（比如社交、游戏、健身、办公等）推出更适合的AR/VR产品，更有助于带动整个AR/VR行业。

另外扎克伯格还指出，VR和AR技术有很多部分是相似的，比如眼球追踪等等。目前，AR有两种技术方案：VST透视和基于光学的纯AR，而这在图形管道和显示方案上相当不同。

尽管如此，纯AR、VST透视AR、VR可拥有相同的3D渲染技术，未来可能会有一个统一的开发平台，这样AR内容也可以在VR中运行。参考：Tested