低成本AR手势交互方案Portal-ble正式开源

几年前，青亭网报道了布朗大学人机接口小组开发的低成本移动终端AR手势交互方案：Portal-ble。据悉，这是一个手机用户可以用手触摸的问题AR物体的方案，将智能手机屏幕变得仿佛是AR世界的入口让你可以用手堆积木、摆放和旋转家具，甚至在空中画画。

最近，为了促进AR手势互动生态发展，Portal-ble研发团队决定开源其移动终端AR手势交互资源库包括多种手势和AR可发基于移动设备的虚拟物体之间的交互示例AR手势交互应用。

移动端AR手势重要性

目前，AR与手机、平板电脑等主流移动设备相比，技术应用最广泛的场景仍然是AR智能手机的眼镜门槛较低，几乎每人都有一部。这就是为什么移动终端发展最快的原因AR内容生态。

然而，与几年前风靡全球的《精灵宝可梦》相比，Go》，人们渴望更多样化的玩法。而且，目前移动终端AR还面临续航、散热、FOV等等。随着技术的发展，AR应用程序的变化不仅要提高自然屏蔽等视觉效果，还要结合更多的玩法，比如手机上已经可以实现的手势交互。

谷歌在技术上Project Tango和苹果的LiDAR传感器能手机的传感器进一步改进D测距、环境识别、手势识别等场景的应用效果。

因此，为了促进移动终端AR为了发展手势交互，布朗大学建立了手势交互资源库AR开发人员用手势展示AR各种形式的物体交互。

布朗大学的学术研究员兼计算机科学教授Jeff Huang表示：AR企业面向企业级市场，是为了逃避消费级的困难AR市场。他认为，一家中国制造商将于2024年发布无线AR眼镜，其门槛会低于其他大型科技公司开发的AR产品。

Huang他的团队认为，基于手机的移动终端AR到处使用Portal-ble技术，开发者可以更好地迎接这样的未来。资源库的特点是可以在手机上运行，未来可以兼容Leap Motion为了提高手势交互的准确性，手势模块。

AR面临的挑战

借助AR，用户可以使用他们的身体部位与增强空间中的物体互动。这与元宇宙形成了鲜明的对比。在元宇宙中，整个体验发生在我们所知道的物理世界之外的空间中。 AR 体验揭示了世界融合的必要性——从标准转变—但将技术与设备结合起来实现体验通常是一个问题。

The Mill全球创意技术总监Aleissia Laidacker在福布斯的一篇文章中，人们应该充分挖掘成本AR潜力还有很长的路要走。Gartner数据显示，75%的资本和设备密集型行业愿意采用AR降低一线工人作业成本，提高工作效率的技术。

Huang似乎是消费者AR时代比我们想象的要近，并指出2025年至2026年将是消费者AR在日常使用中令人印象深刻的一年。然而，他指出，我们要到2029年才能在任何地方看到它AR。他列出了技术进步和设备建设和调整以实现整体无缝体验的问题AR成为现实前需要跨越的障碍的一部分。

技术优势

Portal-ble，字面意思是便携式和传送门，与移动设备兼容，使用门槛低AR良好的交互沉浸感。基于开源库Unity与安卓手机系统兼容的开发。其扩展版支持Leap Motion手势识别模块可以在iPhone操作安卓。此外，Snap Spectacles AR眼镜版也在beta测试阶段。

Portal-ble AR任何安卓手机都可以变成AR用户可以超越现实世界，用手移动虚拟物体。开发资源库，开发人员可以进行绘制、操作和投掷对象等多种操作。 Portal-ble 提供的功能和AR该领域流行的功能之间的区别在于，Portal-ble支持与物体的直接交互，而不是通常的空中手势。

研究人员说：Portal-ble纯手机在市场上AR最好的交互方案的主要优点是使开发人员能够使用它Portal-ble并将其包含在他们的游戏和应用程序中。 Huang的目标是让AR无处不在，因为他知道其他人正在为其他设备构建，这就是为什么用于手机的AI一直是公司关注的焦点。

在一段demo在中国，研究人员通过手势演示了一种把握AR精灵游戏：《Pokemon CatchAR》。这是一个Snapchat AR滤镜，不仅可以在Spectacles上操作，也兼容iOS还有安卓手机。你可以用手旋转精灵球，也可以用手扔球。

研究人员说，它在手机上运行Portal-ble如果加上深度传感器，手势交互的准确性可以提高到3毫米。

据了解，Portal-ble开源库包括手势交互示例应用，构建手势交互Unity应用文档。在细节方面，该方案的手势识别是基于MediaPipe机器学习框架，在开源后允许开发人员使用其代码，开发AR手势应用。

科研人员还设计了3个D可以打印支架Leap Motion固定在手机摄像头模块下。然而，操作Leap Motion还需要使用Intel为了提供额外的计算能力，计算模块(计算机棒)。

理论上也可以搭配智能手表，结合这种可穿戴显示屏，可以进一步提升3D AR涂鸦的效果，在手机屏幕之外也可以继续交互，目的是解决手机FOV问题有限。

值得注意的是，Portal-ble该项目由美国国家科学基金会和皮克斯资助。VentureBeat