要知道，平时我们自己做实验、或是拼装没见过的机械零件时，面对各个相似的零件都可能拿错，更何况机器人。

　　但这只机械臂没有使用过任何人工标注，就能从模拟器立刻迁移到真实世界，同时泛化到机器人没见过的新物体上，准确率能达到87.8%。

　　论文一作为华人博士Bowen Wen，现就读于罗格斯大学计算机系机械零件，本科毕业于西安交通大学。

　　这项研究的提出，主要是想要解决普通工业场景中，对不同机械零件进行分类的问题。

　　实际情况下，机械臂难免会遇到自己不认识的新零件，如果只依靠数据集、不会举一反三可不太行。

　　通过在模拟器内不断训练试错，机械臂就能自己总结出一套经验，并将它归结成热力图表征。

　　归一化让不同维度之间的特征在数值具有一定比较性，从而可以对不同物体分类。

　　（倒角距离：是一种对于图像的距离变换，对于一个有特征点和非特征点的二值图像，此距离变换就是求解每一个点到最近特征点的距离）

　　给出点云输入后，NUNOCS Net就能预测点云在NUNOCS空间中的位置，这一网络基于pointnet设计。

　　根据确定点云和预测到的点云，二者最终可以求解得到类别级的6D转换和3D的维度变换，从而得到更为准确的密集点云对匹配。

　　比如下图中，相同颜色表示相互匹配，NUNOCS方法优于此前的NOCS方法。

　　因此，研究人员对每个抓取姿态进行50次随机的微小扰动，并记下了成功的次数，得到连续的概率分布。

　　测试时，一旦遇到了没接触过的情况，就可以将之前归结好的抓取姿态分布迁移到新颖的物体空间里，从而得到更为全面的抓取姿态采样。

　　抓取姿态和模拟器中得到的概率分布，可以分别作为输入和标签，用来训练神经网络。

　　最后，通过自监督训练学习，在进行过足够多的抓取姿态模拟后，机械爪和物体的接触经验累计就能得到如下这样的热力图。

　　而且过程中所有模块都能从合成数据集上训练，之后能直接迁移到真实世界的场景中。

　　从实验结果来看，模拟情况下这一方法的平均成功率有93.1%，抓取次数大概为600次。

　　本项研究的一作为罗格斯大学计算机专业博士生Bowen Wen，目前正在GoogleX实习。

　　他师从Kostas Bekris教授，研究方向包括机器人感知，计算机视觉。

　　原标题：《Google X开源抓取机械臂，无需人工标注就能一眼找到目标零件，正确率达87.8% ICRA 2022》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。