PlaneTR：一种用于提取场景中3D平面特征的Transformer(ICCV 2021)

论文标题：PlaneTR: Structure-Guided Transformers for 3D Plane Recovery

录用信息：ICCV2021

代码地址：https://git.io/PlaneTR

1、背景

从单个RGB在图像中恢复或重建场景中的3D平面结构是3D由于其不适定性，视觉上的一个基本问题非常具有挑战性。这个问题的本质目的是在图像中检测平面实例的区域并估计它们的3D平面参数(如表面法线和偏移)。作为3D场景的基本特征结构，重建平面，增强现实和视觉SLAM在下游任务中具有广阔的应用前景，如室内场景理解。

一些早期的方法倾向于利用线段、相交点和消失点等几何元素以自下而上的方式解决这个问题。这些几何元素通常首先分为不同的组，然后在一系列严格的假设（如曼哈顿世界）和规则下进行分析D平面。虽然这些基于结构的方法在一定程度上取得了成功，但也存在几何元检测缺失或错误、技术过程复杂、场景有限等问题，影响了其性能和应用。最近，一些基于神经网络的方法直接从输入图像中从上到下预测3D平面参数的平面实例mask。这些方法放松了基于结构的约束，并取得了良好的性能。然而，它们主要来自CNN上下文信息忽略了图像中的3D平面恢复有用的结构特征。

在本文中，作者选择在学习框架下使用几何结构来解决室内场景3D平面提取问题。尽管存在各种低级几何图元，但作者发现与其他几何图元相比，线段构建出的3D平面通常包含更全面的场景3D特征点、边缘和消失点等信息。

近期一些CNN使用密集图的方法