---

报道视学算法

编辑：好困 小咸鱼

【新智元导读】近日，Meta秘密研发项目首次展示：「气动触觉手套」，科幻迷人。这种触觉手套可以让你通过安全气囊体验到抓取虚拟物体的真实触感。Meta对于这款手套和其他可穿戴技术，我们将通往它VR和AR实现互动的未来。

在元宇宙中「指点江山」吗？就是「头号玩家」里主角戴的那种。

当然想了想，但是，哪里能买到呢？

好消息是，这种手套已经初具雏形。

想象一下，你和朋友在一起3D虚拟化身拼一个3D虚拟拼图。

当你从桌子上拿起一个虚拟拼图时，你可以真正感觉到手中的拼图，也就是说，手指会停止，效果可能如下。

拿起来观察，不仅能看到，还能摸到拼图边缘的锋利和光滑的表面。然后，当拼图被放置在正确的位置时，「咔哒」一下，严丝合缝。

想象一下，你来到一家咖啡馆「掏出」虚拟屏幕和键盘。

这个键盘可以大也可以小，还可以「红轴」、「青轴」来回切换各种手感，虽然看起来其实是在敲空气。

它看起来很像吗？「元宇宙」中的场景？

是的，这就是Meta现实实验室（Reality Labs, RL）解决元宇宙核心挑战——「如何触摸虚拟世界」一点点努力。

无非是开发了7年，整理了新材料、新传感器、新执行器、新集成系统方法、新渲染算法、新物理引擎。

毕竟都改名了Meta不要拿出一些Metaverse研究成果如何？

用手套触摸「元宇宙」

现在的VR技术，虽然能通过手持设备操作虚拟的物体，但是用户却完全无法感受到它们。

此时，如果有时尚、舒适、实惠、耐用、柔软、轻便的触摸手套，就可以解决VR和AR互动问题。

这款手套不仅能准确地将佩戴者的手部动作反馈给计算机，还能重现压力、纹理、振动等一系列复杂细微的感觉，用手感受虚拟物体的效果。

如果你想恢复真正的触摸，你必须在手套上携带数百个执行器 (小电机)，能让佩戴者感觉到他们在以协同运动的方式触摸虚拟物体。

然而，在工作的头两年，团队遇到了传统电子和金属设备的限制。

由现有机械执行器制成的手套不能整天舒适地佩戴。它不仅僵硬、昂贵、耗电，而且不能表现出真正的触摸感。

Meta RL它希望通过新材料制作出柔软而有弹性的执行器，并根据佩戴者的动作改变形状。

「显然，你不能把1000个电机和各种连接电线放在手上，」Meta RL研究硬件工程总监Tristan Trutna解释道，「即使可以实现，也不适合物理层面。手套的质量和使用过程中产生的热量太大。」

你也猜到了，这种执行器并不存在。

因此，团队决定转向软机器人和微流体的新兴领域，该技术通常用于假肢和PoC诊断设备。

经过近两年的研究，Meta RL在气动执行器(使用气压产生力)和电动执行器(在有电场的情况下改变形状或面取得了重大突破。

为了控制这些新的软执行器，Meta RL制造了世界上第一个高速微流体执行器。通过手套上的微流体芯片，告诉阀门何时打开和关闭，以控制输入执行器的气流。

Meta RL研究科学家Andrew Stanley指出，「对于VR或AR对于触觉交互，执行器需要快速加压指尖，并且可以使用空气。」

有了流体逻辑电路，Meta RL系统中的重组件可以通过减少控制大量执行器所需的机电阀门的数量来消除。

准确构建画面触觉「渲染」

即使有控制气流的方法，手套也需要知道何时何地提供正确的感觉。

这就要求计算机能够准确地知道你的手在虚拟场景中的位置，你是否接触过虚拟物体，你的手是如何与物体互动的。

为此，Meta RL根据手的位置和对虚拟环境的理解，包括虚拟物体的纹理、重量和硬度，推出了一种新的渲染软件，在准确的时间向手上的执行器发送正确的指令。

「通常认为『渲染』指视觉效果」，Meta RL软件工程师Forrest Smith说，「我们也用『渲染』用这个词来形容触觉。我们在这里做的是将虚拟世界的状态与你与它的互动渲染到执行器上，让你感受到相应的感觉。」

其中，物理引擎(用于模拟视频游戏中物体互动的软件)决定了你的手在与虚拟物体互动时应该接受的力的方向、大小和位置。

而触觉渲染算法将这些信息与触觉设备的特性（如各个执行器的位置和属性）相结合，从而能向设备发送正确的指令。

反馈结合听觉、视觉和触觉

第四年，第三个挑战出现了。

为使触觉发挥作用，Meta RL物理学必须模仿现实来建立，但不能完全重现现实世界。

虽然触摸手套可以提供有价值的反馈，但它们不能完美地阻止你的手指在试图抓住虚拟物体时关闭，也不能阻止你的手停留在虚拟桌子上。

如何解决这个问题？

因此，他们转向感知科学和多感官整合，研究人类感官如何共同作用，以建立我们对世界的理解。

佩戴者体验研究科学经理Sophie Kim它解释了团队如何利用人类的感知能力来创造令人信服的感觉。

她说：「我们的大脑非常擅长使用一点触觉信号、一点视觉信号和一点听觉信号，并将它们融合在一起，真正感受到这种感觉，并你手中有一个物体。」

Meta RL感知研究科学家Jess Hartcher-O'Brien描述了在VR和AR感官整合可能是什么感觉？

「例如，当我准备拿起立方体时，我会假设它的材料类型和可能的重量。」

「在触碰到这个立方体的一瞬间，我就会把关于它的材料属性的视觉线索和触觉反馈结合在一起。」

「当我操作物体时，我的大脑会识别摩擦和惯性，并计算物体的密度或重量。」

「我的视觉系统正在根据我的手臂如何移动而更新。感觉告诉我手臂在空间中的位置，它的移动速度，我的肌肉在做什么。」

这就是触觉手套的魔力，它甚至可以让佩戴者的感知系统相信他们在感受物体的重量。

佩戴者手指的皮肤会被执行器轻轻拉动，从而模仿重力拉动物体。当然，所有这些都必须在时间上完全同步。

在2017年底的实验中，Meta RL使用指尖上的单振动触觉设备VR一系列由不同材料制成的虚拟球体(木材、大理石、泡沫)从空中落下时提供触觉反馈。

当每个球落在受试者的虚拟指尖上时，都有独特的视觉、听觉和触觉反馈。

Keller表示，「所有的时间和工程都适合这种音频视觉触觉体验。你可以感觉到它是一块泡沫、木头或大理石。当这些材料落下时，你可以体验到轻轻地打在手指上的感觉。」

发明未来：Meta RL刚刚开始

在VR和AR目前还没有一些技术需要提供可信的触觉体验，但是Meta RL不断提高技术水平，创造新突破，使触觉手套成为现实。

「我相信，在即将到来的时候AR/VR在与元宇宙的人机交互革命中，触觉将至关重要」，Meta RL Research科学经理Nicholas Colonnese说，「在未来，我们可能会呈现一个『触觉点击』，当你问候元空间的朋友时，分享定制的『触觉握手』。」

Meta RL触觉手套项目一开始就是一个「登月项目」，但随着团队的成功创新和几十个学科的研究飞跃，其可行性越来越高。

「当我们开始触觉手套项目时，我们问自己，我们是否能建立一个可大规模生产的、消费者负担得起的消费设备」，Keller说。

「当时，我们认为没有新材料、新传感器和执行器、新集成和系统方法、新渲染算法、新物理引擎，这是不可能的，但今天，我们可以自豪地说，我们已经开辟了一条可行的道路，可以让我们实现目标。」

七年过去了，对他们来说，这才刚刚开始。

「Meta实验室是一个创新的锻造厂」，Keller补充说，「你可以看到这些东西是如何真正影响人们和人们的生活的，这是非常有意义的。」

参考资料：

https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world

https://www.youtube.com/watch?v=v9bbbYcgMqQ

点个在看 paper不断！