为短焦VR和轻量AR而生，Tobii展示最新微型眼球追踪模组

眼球跟踪和手指跟踪作为一种自然的交互方式，将成为未来的一种VR因此，这两种技术的发展也备受关注。AWE 2022期间，Tobii和Ultraleap它展示了最新的眼球跟踪和手势跟踪技术，以及它们的各种应用场景。

比如，Skarredghost体验集成Tobii眼球跟踪模块Neo 3 Pro Eye。本次体验有五种内容：注视渲染、VR训练，虚拟化身社交，眼球输入和投掷游戏。Tobii还展示了眼镜形状的原型设备。

1)注视点渲染:使用:Pico Neo 3 Pro Eye体验一个以完整刷新率运行的场景，可以开启基于眼球跟踪的实时照明。实时照明的光影相比，实时照明的优点是使视觉感觉更加生动。然而，实时照明通常会降低刷新率和渲染效果的稳定性，这就是为什么Pico Neo 3、Quest 2等消费级VR一体机不支持实时照明渲染。

2）VR培训：在培训场景中，参与者是否在适当的时间关注每一步是判断培训效果的重要指标。使用眼球跟踪，培训应用程序可以跟踪学生的视觉变化是否符合操作顺序，是否在正确的时间查看相应的按钮。

3）利用眼球跟踪功能控制虚拟化身的眼球。体验者说：当适应眼球跟踪版本的虚拟化身时，固定眼球的虚拟化身看起来不自然。

4)眼球跟踪控制UI：Tobii展示一种组合VR手柄与眼球输入的交互方式，即锁定/选择菜单中的按钮，然后按下手柄上的扳机，无需移动手柄进行选择。如果眼球跟踪的速度和准确性足够好，这种混合菜单交互将比传统的手柄输入更自然和敏感。

也就是说，VR界面操作更实用、更流畅，无需移动手。就像在现实生活中一样，人眼主要用于观察/探索周围的环境和事务，而不是互动。VR在中间，眼球输入不仅应该依赖于视点数据，还应该更自然地与手柄一起输入。此外，如果菜单按钮是用视点触发的，由于人眼移动速度快，很容易产生误触。

5)演示投掷物体:目前，在VR要准确模拟自然的投掷体验并不容易。人们往往不能仅仅依靠注视来投掷物体，而且错误率很高。因此，为了提高投掷体验，Tobii演示了一种利用注视点瞄准目标，然后调整投掷路径的应用程序。即使结合眼球跟踪功能，手势也能更准确地瞄准。

Tobii硬件

硬件方面，Tobii微型相机和一系列眼球跟踪模块LED照明元件由环形结构组成，可叠加VR在头显光学模块上。Tobii红外传感是基于红外传感传感LED和红外相机。

另一个有趣的技巧是在头显镜头和显示器之间添加一个倾斜45°镜子的目的是将人眼图像反射到侧面的摄像头传感器中。反射器只反射红外光，而忽略了可见光。Vive Pro Eye采用的方案。

不过，目前VR现有的眼球跟踪模块不再适用于折叠光路、短焦等轻量化方案。Tobii已经找到了一种全新的眼球跟踪方法，采用微型红外相机，应用于眼镜产品，看起来很小。

Tobii不仅会缩小眼球跟踪相机的尺寸，还会保持300的高分辨率x200左右。Tobii该方案设计了眼镜外观的原型设计，上面的微型相机看起来像一个小灰尘颗粒。放大后，可以看到微型相机复杂的内部结构。

这也是Tobii对接下来Pancake短焦VR、轻量化AR眼镜提供的设计理念。Magic Leap也是类似的设计思路。

Skarredghost还向Tobii询问了关于PS VR二是否建立合作，Tobii尚未回复。

Ultraleap

除此之外，Skarredghost还体验了Ultraleap在Varjo XR-三头显示IR-170手势跟踪模块。他表示：Ultraleap手势跟踪效果足够稳定，即使手放在头显视角外，也能在看不见的地方继续跟踪和操作。例如，以用手抓住视觉边缘的物体，放在眼前。在RGB透视AR模式中，Ultraleap手势跟踪效果也足够好。

除了VR外，Ultraleap也展示了3Di手势追踪模块，可以应用于2D智能屏幕、手机、电脑等平台。Skarredghost