Synthetic Data Generation for Bridging Sim2Real Gap in a Production Environment

要約

合成データは、最近、物体検出、物体セグメンテーション、6D 物体姿勢推定などのコンピューター ビジョン アプリケーションでディープ ニューラル ネットワークをトレーニングするために使用されています。
ドメインのランダム化は、シミュレーションと現実のギャップを減らす上で重要な役割を果たします。
ただし、この一般化は、複雑なアセンブリを含む運用環境などの特殊なドメインでは効果的ではない可能性があります。
合成画像でトレーニングされた個々のパーツは、はるかに大きなアセンブリに統合され、対応するパーツと区別できなくなり、偽陽性が発生するか、偽陰性を引き起こすのに十分なだけ部分的に遮蔽されます。
このような場合にはドメインの知識が不可欠であり、合成データを生成する際に効果的に考案できれば、シミュレーションと現実のギャップを埋める際に大幅な改善を示すことができます。
このペーパーでは、実稼働環境で使用される部品およびアセンブリの合成データ生成手順に焦点を当てます。
合成データ生成の基本手順とそのさまざまな組み合わせは、実稼働環境でキャプチャされた画像で評価および比較され、基本手順の組み合わせを使用すると結果が最大 15% 向上することがわかります。
このようにしてシミュレーションと現実のギャップを減らすことは、人工知能を使用したロボット支援生産の真の可能性を活用するのに役立ちます。

要約(オリジナル)

Synthetic data is being used lately for training deep neural networks in computer vision applications such as object detection, object segmentation and 6D object pose estimation. Domain randomization hereby plays an important role in reducing the simulation to reality gap. However, this generalization might not be effective in specialized domains like a production environment involving complex assemblies. Either the individual parts, trained with synthetic images, are integrated in much larger assemblies making them indistinguishable from their counterparts and result in false positives or are partially occluded just enough to give rise to false negatives. Domain knowledge is vital in these cases and if conceived effectively while generating synthetic data, can show a considerable improvement in bridging the simulation to reality gap. This paper focuses on synthetic data generation procedures for parts and assemblies used in a production environment. The basic procedures for synthetic data generation and their various combinations are evaluated and compared on images captured in a production environment, where results show up to 15% improvement using combinations of basic procedures. Reducing the simulation to reality gap in this way can aid to utilize the true potential of robot assisted production using artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google