HaDR: Applying Domain Randomization for Generating Synthetic Multimodal Dataset for Hand Instance Segmentation in Cluttered Industrial Environments

要約

タイトル：HaDR:産業環境における乱雑な手のインスタンスセグメンテーションのための合成マルチモーダルデータセットのドメインランダム化の適用

要約：

– ドメインランダム化を使用して、乱雑な産業環境での色に依存しない手の検出を目的とした、マルチモーダルインスタンスセグメンテーションモデルのトレーニングに使用する合成RGB-Dデータセットを生成する
– ドメインランダム化は、ニューラルネットワークが本質的なドメイン特徴を学習するために、シミュレーションシーンで現実的でない特徴をランダムにレンダリングすることで「現実とのギャップ」を解決するための簡単な技術である
– 産業環境での様々な手の検出アプリケーションのための新しい合成データセットを提供し、事前学習されたインスタンスセグメンテーションモデルを使用することができる
– カラー情報と深度情報の両方を含むマルチモーダル入力を使用して、複雑な非構造化環境で堅牢な結果を達成するために、モデルの精度向上に役立つと仮説を立てる
– この仮説をテストするために、各モダリティとそのシナジーの影響を分析する
– 評価されたモデルは、われわれの合成データセットのみでトレーニングされたものであったが、平均精度および確率ベースの検出品質において、既存の最先端データセットでトレーニングされた対応するモデルを上回ることができることを示した。

要約(オリジナル)

This study uses domain randomization to generate a synthetic RGB-D dataset for training multimodal instance segmentation models, aiming to achieve colour-agnostic hand localization in cluttered industrial environments. Domain randomization is a simple technique for addressing the ‘reality gap’ by randomly rendering unrealistic features in a simulation scene to force the neural network to learn essential domain features. We provide a new synthetic dataset for various hand detection applications in industrial environments, as well as ready-to-use pretrained instance segmentation models. To achieve robust results in a complex unstructured environment, we use multimodal input that includes both colour and depth information, which we hypothesize helps to improve the accuracy of the model prediction. In order to test this assumption, we analyze the influence of each modality and their synergy. The evaluated models were trained solely on our synthetic dataset; yet we show that our approach enables the models to outperform corresponding models trained on existing state-of-the-art datasets in terms of Average Precision and Probability-based Detection Quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI