谷歌公布13GB 3D扫描数据集：17大类、1030个家用物品
时间：2022-09-21 05:00:00
来源！机器之心
极市平台编辑
近年来，深度学习技术使计算机视觉和机器人领域的许多进展成为可能，但训练深度模型需要各种输入来泛化到新的场景。
此前，计算机视觉领域利用网页抓取技术收集了数百万个主题的数据集，包括 ImageNet、Open Image、Youtube-8M、COCO 等。然而，给这些数据集贴标签仍然是一项劳动密集型工作。标签错误可能会影响对技术进步的感知，这一策略很难推广 3D 或者在真实世界的机器人数据上。与图像不同，网络上没有大规模、高质量的产品 3D 从现实世界中收集这些数据是非常具有挑战性的。此外，很难从图像中提取人工标记员 3D 几何特性。
一般使用 Gazebo、Bullet、MuJoCo、Unity 模拟机器人和环境等工具可以减少上述限制。然而，模拟毕竟并不是一个完全真实的世界，即使一个场景直接通过真实的环境 3D 扫描是建立起来的，扫描中的离散对象会像固定的背景物一样，不会像现实世界中的对象那样回应输入。
因此，关键问题是提供高质量 3D 这些模型可以集成到物理和视觉建模中，为深度学习提供所需的多样性。
为了解决这个问题，谷歌的研究者提出了 Google Scanned Objects (GSO) 这是一个由超过的数据集 1000 个 3D 可用于扫描家用物品组成的精选集 Ignition Gazebo、Bullet 可读取模拟器和其他模拟器 SDF 模型格式工具。
在一篇论文中，研究人员介绍了数据集的收集、管理和扩展。
论文链接：https://arxiv.org/pdf/2204.11918.pdf
据不完全统计，GSO 数据集已经在计算机视觉、计算机图形学、机器人操作、机器人导航和 3D 形状处理等 10 个项目的 12 应用于论文：
主要贡献有几点：
提出 Google Scanned Objects 数据集；
3D 扫描 pipeline 设计；
3D 扫描管理和发布过程；
该数据集在研究领域的影响。
创建数据集
GSO 数据集起源于 2011 谷歌云机器人计划的目的是让机器人基于普通家居用品的高保真 3D 能够在自己的环境中识别和捕获物体的模型。
然而，除了物体识别和机器人捕获外，3D 该模型还有许多用途，包括物理模拟场景构建和终端用户应用 3D 物体可视化。因此，谷歌研究所发起了一个项目 3D 谷歌的大规模引进体验，以低于传统商业产品摄影的成本收集大量家居用品 3D 扫描图像。
这是一个端到端工程，包括物体获取和新颖 3D 高效扫描硬件 3D 快速扫描软件 3D 渲染质量保证，网络与移动浏览器，以及人机交互研究。
在收集数据后，研究人员建立了一个 pipeline，以各种格式使用这些数据。
3D 扫描 pipeline
即使仅限于家居用品，3D 扫描还将带来独特的挑战，包括高效的物理扫描设置、目标照明、相机可靠性、扫描仪性能、配色、纹理渲染，以及处理近白色、有光泽或透明表面等光学不一致的材料。
专用的 3D 扫描硬件劳动密集型，性价比低。还需要一些更可用、更可靠的工具进行大规模扫描。
因此，研究人员设计了自己的专用扫描硬件和软件(图 2），能够在 10 扫描物体并在几分钟内生成高分辨率模型。物理外壳控制光(图 2b）结构光扫描采用两台机器视觉相机和一台投影仪进行捕捉 3D 使用单反高分辨率相机，用几何图形捕捉产品友好的光线。
项目第一年结束时，每周可以超过一周 400 在二次扫描的过程中，研究团队获得了 100K 份 360 度照片旋转和 10k 份完全 3D 独特的扫描对象。
图 2。
图 3.扫描校准过程。(a) 校正模式使 2D pipeline 能准确对齐相机。(b) 计算机控制的投影仪 3D 扫描物体创建类似的图案。(c) 以亚像素精度检测位置的适当模式。(d) 提取扫描物体的完整性 3D 形状。
图 4.扫描物品需要质量检验。(a) 许多物品被捕获为高质量的封闭流形 mesh。(b) 有些物体很少无效 mesh，但有时会变形。
模拟模型转换
这些原始扫描模型使用协议缓冲元数据、高分辨率可视化和不适合模拟的格式。物体的一些物理属性，如质量，将被捕获，但摩擦等表面属性在元数据中没有表示。
为了在模拟系统中使用这些扫描模型，每个模型都通过一个 pipeline 下列步骤：
过滤无效物体。
分配对象名称。
验证对象 mesh。
物理属性的计算。
结构碰撞体积。
减小模型尺寸。
创建 SDF 模型。
创建缩略图。
打包模型。
数据集属性
组成
GSO 数据集包含 1030 总计扫描对象及相关元数据 13GB，根据 CCBY 4.0 License 授权。表 III.1 分解数据集中的模型类别。
表 III.1
优势
自动化 pipeline 它可以在没有手工处理的情况下快速生成大量模型。因为这些模型是扫描的，而不是手工建模的，它们是真实的，而不是理想的，这减少了学习从模拟转移到现实世界的困难。
扫描仪的玻璃平台可以从各个方面扫描模型，包括底座，不像其他扫描仪有不透明的平台。类似地，从环境中提取的模型通常缺少像底座这样起到衔接作用的遮挡区域。
由于扫描仪根据投影图案而不是深度相机数据重建表面形状，因此获得了 mesh 保真度高。表面光滑，轮廓边缘准确 (图 5)。相比之下，RGB-D 数据得到的 mesh，斑驳和不规则，尤其是轮廓。
图5
限制
同时，这个数据集也有一些限制：扫描仪的捕获区域不能容纳比面包箱更多 (约 50 厘米) 大对象，所以数据集不包括在椅子、汽车或飞机等其他数据集中较大的对象中。同样，扫描分辨率有限，因此非常小的对象不能以合理的保真度建模。此外，生成的纹理是漫反射的：高度镜面或透明物体无法表示，生成结果也不理想。
详见原论文。
本文仅进行学术分享。如有侵权行为，请联系删除。
下载和学习干货
后台回复：巴塞罗那自治大学课件，下载国外大学沉淀3年D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域的经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域的精品课程
计算机视觉车间精品课程官网：3dcver.com
1.自动驾驶领域的多传感器数据集成技术
2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)
3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进
4.中国第一门面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理与代讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
重磅！计算机视觉工坊-学习交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
