Object Detection Using Sim2Real Domain Randomization for Robotic Applications

要約

非構造化環境で作業するロボットは、周囲の環境を感知し解釈する能力が必要である。ロボット工学の分野における深層学習ベースのモデルの主な障害の1つは、異なる産業アプリケーションのためのドメイン固有のラベル付きデータの欠如である。本論文では、任意のサイズとオブジェクトタイプのラベル付き合成データセットを自動的に生成できる、オブジェクト検出のための領域ランダム化に基づくシム2リアル転送学習手法を提案する。この手法により、任意のサイズと種類のラベル付き合成データセットを自動的に生成し、最新の畳み込みニューラルネットワークであるYOLOv4を学習させ、異なる種類の産業用オブジェクトを検出することができる。提案する領域ランダム化手法により、190枚の実画像を含む手動注釈付きデータセットにおいて、ゼロショットとワンショット転送の場合でそれぞれ86.32%と97.38%のmAP50スコアを達成し、現実とのギャップを満足できるレベルまで縮小させることができました。GeForce RTX 2080 Ti GPUでは、データ生成にかかる時間は1画像あたり0.5秒未満、学習時間は約12時間であり、産業用途に適しています。私たちのソリューションは、1枚の実画像を学習させるだけで、類似したクラスの物体を確実に区別することができ、産業界のニーズにマッチしています。このような制約を満たす研究は、我々の知る限り、これまでで唯一である。

要約(オリジナル)

Robots working in unstructured environments must be capable of sensing and interpreting their surroundings. One of the main obstacles of deep learning based models in the field of robotics is the lack of domain-specific labeled data for different industrial applications. In this paper, we propose a sim2real transfer learning method based on domain randomization for object detection with which labeled synthetic datasets of arbitrary size and object types can be automatically generated. Subsequently, a state-of-the-art convolutional neural network, YOLOv4, is trained to detect the different types of industrial objects. With the proposed domain randomization method, we could shrink the reality gap to a satisfactory level, achieving 86.32% and 97.38% mAP50 scores respectively in the case of zero-shot and one-shot transfers, on our manually annotated dataset containing 190 real images. On a GeForce RTX 2080 Ti GPU, the data generation process takes less than 0.5s per image and the training lasts around 12h which makes it convenient for industrial use. Our solution matches industrial needs as it can reliably differentiate similar classes of objects by using only 1 real image for training. To our best knowledge, this is the only work thus far satisfying these constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL