目前，基于模型自由学习的机器人捕获方法使用人工标记的数据集来训练模型。这会带来一些缺点。

如何预测物体的抓取位置？

我们提出了一个分阶段的端到端自我监督——学习系统，它使用数千次试错来学习深度网络。然后，学习到的深度网络被用来收集更多的正负数据（模型认为可用，但通常不是），这有助于网络更快地学习。

实验是在Rethink机器人公司Baxter在特殊机器人上使用。ROS作为我们的开发系统。
对于夹持器，我们使用双指平行夹持器，最大宽度(开启状态)为 $75mm$，最小宽度（闭合状态）为 $37mm$。

一个KinectV2连接到机器人的头部，可以提供$1920\times 1280$分辨率的工作空间图像（暗白色的桌面）。此外，一个$1280\times 720$分辨率的相机被连接到每个Baxter的末端执行器上，它提供了与Baxter交互的对象的丰富图像。

为了进行轨迹规划，使用了扩展空间树(Expansive Space Tree)规划器。使用这两个机器人臂来更快地收集数据。

在实验过程中，人类的参与仅限于打开机器人，并以任意的方式将物体放在桌子上。除了初始化之外，我们没有人类参与数据收集的过程。

在本文中，我们只关注平面上的抓取力。

平面抓取是指抓取配置沿着并垂直于工作空间。因此，抓取配置为三维，$(x,y)$：抓取点在桌子表面的位置，以及$\theta$：抓取点的角度。

该工作空间首先设置了多个不同难度的对象，随机放置在一张背景为暗白的桌子上。然后连续执行多次随机试验。

从头戴式Kinect查询的桌面图像通过现成的高斯混合(MOG)背景减影算法识别该算法识别图像中感兴趣的区域。

这样做仅仅是为了减少在附近没有物体的空地上进行的随机试验的次数。

然后选择该图像中的一个随机区域作为特定试验实例的感兴趣区域。

给定一个特定的感兴趣区域，机器人手臂移动到物体上方25厘米。

现在，从感兴趣区域的空间中均匀地采样一个随机点。这将是机器人的抓取点。

为了完成抓握配置，现在在范围$(0,\pi )$内随机选择一个角度，因为两个指握器是对称的。

现在给定抓取配置，机器人臂对对象执行抓取。

抓取综合问题被表述为在给定一个对象$I$的图像时找到一个成功的抓取配置$(x_S,y_S,{\theta }_S)$。

我们的CNN的输入是一个在抓取点周围提取的图像补丁。

在我们的实验中，我们使用的补丁是指尖在图像上投影的$1.5$倍，也包括上下文。

实验中使用的贴片尺寸为$380\times 380$。这个补丁的大小被调整为$227\times 227$，这是图像网络训练的AlexNet的输入图像大小。

首先学习一个二元分类器模型，该模型将物体分为可抓取与否，然后选择物体的抓取角。

然而，图像贴片的可抓性是夹持器角度的函数，因此图像贴片可以被标记为可抓的和不可抓的。

相反，在我们的例子中，给定一个图像补丁，我们估计一个18维似然向量，其中每个维度表示补丁的中心是否在$0°,10°,\cdots 170°$。因此，我们的问题可以看作是一个18元二分类问题。

给定一个图像补丁，我们的CNN输出18个抓取角度的中心。

在机器人的测试时间，给定一个图像，我们对抓取位置进行采样，提取补丁输入CNN。

对于每个补丁，输出是18个值，它们描述了18个角度中的每个角度的可抓取性得分。

给定一个试验实验数据点$(x_i,y_i,{\theta }_i)$，我们以$(x_i,y_i)$为中心抽取$380\times 380$贴片。

为了增加网络所看到的数据量，我们使用了旋转转换：通过${\theta }_{rand}$旋转数据集补丁，并将相应的抓取方向标记为${\theta }_i+{\theta }_{rand}$。其中一些补丁可以在图4中看到。

我们的CNN，是一个标准的网络架构。

我们的前五个卷积层取自预先训练过的AlexNet。我们还使用了两个完全连接的层，分别有4096个和1024个神经元。

这两个完全连接的层，fc6和fc7，用高斯初始化进行训练。

$$L_B=\sum _{i=1}^B\sum _{j=1}^{N=18}\delta (j,{\theta }_i)\cdot softmax(A_{ji},l_i)$$
其中，$\delta (j,{\theta }_i)=1$时，${\theta }_i$对应于第$j$个类。

请注意，网络的最后一层包含18个二进制层，而不是一个多层分类器来预测最终的可抓取性分数。

因此，对于单个补丁，只有试验对应类的损失能被反向传播。

在数据收集的这个阶段，我们同时使用以前看到的对象和新对象。这确保了在下一次迭代中，机器人纠正不正确的抓取模式，同时加强正确的抓取模式。

需要注意的是，在这一阶段的每次对象抓取试验中，都会随机抽取800块补丁，并由上一次迭代中学习到的深度网络进行评估。

这就产生了一个$800\times 18$的抓取能力先验矩阵，其中输入$(i,j)$对应于第$i$个补丁的第$j$个类上的网络激活。抓取执行现在是由抓取能力先验矩阵的重要性抽样决定的。

受数据聚合技术的启发，在第$k$次迭代的训练过程中，数据集$D_k$由 { D k } = { D k − 1 , Γ d k } \{D_{k}\}=\{D_{k−1},\Gamma d_{k}\} { Dk​}={ Dk−1​,Γdk​}给出，其中$d_k$是使用第$k-1$次迭代的模型收集的数据。

注意，$D_0$是随机抓取数据集，第$0$次迭代只是简单地在$D_0$上进行训练。

作为设计选择，重要性因素$\Gamma$保持为3。

通过3k次物理机器人交互收集了15个新颖的、不同的测试对象的多个位置。

这个测试集是通过从收集到的机器人交互中随机抽样来平衡的。

用于评估的精度度量是二元分类，即在测试集中给定一个补丁并执行抓取角，以预测对象是否被抓取。

该方法的评估保留了抓取的两个重要方面：(a)它确保了测试数据完全相同的比较，这与真实的机器人实验是不可能的；(b)数据来自一个真实的机器人，这意味着在这个测试集上工作良好的方法应该在真实的机器人上工作良好。

我们的基于深度学习的方法，然后是多阶段强化，在这个测试集上产生了$79.5\%$的准确率。

为RGB图像输入任务修改的启发式算法，编码了明显的抓取规则。

1. 抓住补丁的中心。这一规则隐含在我们的基于补丁的抓取公式中。
2. 掌握最小的物体宽度。这是通过目标分割和特征向量分析来实现的。
3. 不要抓住太薄的物体，因为抓手没有完全关闭。

获得的最大准确率为$62.11\%$，明显低于本方法的精度。

我们在以下两个baseline中都使用了HoG特征，因为它保留了旋转方差，这对抓取很重要。

1. k最近邻(kNN)：对于测试集中的每一个元素，对训练集中属于同一角度类的元素进行基于kNN的分类。不同k值情况下的最大准确率为$69.4\%$。
2. 线性SVM：为18个角度箱中的每一个学习18个二进制支持向量机。通过验证选择正则化参数后，得到的最大准确率为$73.3\%$。

添加更多的数据肯定有助于提高准确性。这种增长更为显著，直到大约20K个数据点，之后增长幅度很小。

我们的实验表明，这种提升是显著的：从网络的准确率为$64.6\%$到预训练网络的$76.9\%$。这意味着从图像分类任务中学习到的视觉特征辅助了抓取对象的任务

经过一个阶段的加固后，测试精度从$76.9\%$提高到$79.3\%$。这显示了训练中硬负的效果，只有2K抓取比20K随机抓取提高更多。然而，在3个阶段后，准确率的提高饱和到$79.5\%$。

我们注意到，在没有对数据进行聚合，并且仅使用当前阶段的数据来训练抓取模型的情况下，准确率从$76.9\%$下降到了$72.3\%$。

因此，为了考虑不精度，我们对前10个抓取进行采样，并基于邻域分析对其进行重新排序：给定一个顶部补丁的实例$(P_{topK}^i,{\theta }_{topK}^i)$，我们进一步在$P_{topK}^i$的邻域采样10个补丁。邻域斑块的最佳角度得分的平均值被分配为由 ( P t o p K i , θ t o p K i ) (P^{i}_{topK},\theta^{i}_{topK}) (Pto<