Learning from synthetic data generated with GRADE

要約

最近では、合成データの生成とリアルなレンダリングにより、ターゲット追跡や人間の姿勢推定などのタスクが高度化しています。
ほとんどのロボット工学アプリケーションのシミュレーションは、特定のセンサーと低い視覚的忠実度を備えた (半) 静的環境で取得されます。
これを解決するために、[1] で初めて紹介された、ロボット研究用のリアルなアニメーション動的環境 (GRADE) を生成するための完全にカスタマイズ可能なフレームワークを紹介します。
GRADE は、完全なシミュレーション コントロール、ROS 統合、現実的な物理学をサポートしながら、視覚的忠実度の高い画像とグラウンド トゥルース データを生成するエンジン内にあります。
GRADE を使用して、人物や飛行物体が含まれる屋内の動的シーンに焦点を当てたデータセットを生成します。
これを使用して、人物のセグメント化と検出のタスクにおける YOLO と Mask R-CNN のパフォーマンスを評価します。
私たちの結果は、GRADE で生成されたデータを事前トレーニング ステップに使用すると、モデルのパフォーマンスが向上するという証拠を示しています。
また、合成データのみを使用したトレーニングであっても、TUM-RGBD データセットからの画像など、同じアプリケーション ドメイン内の現実世界の画像にうまく一般化できることも示します。
コード、結果、トレーニングされたモデル、生成されたデータは、https://eliabntt.github.io/grade-rr でオープンソースとして提供されます。

要約(オリジナル)

Recently, synthetic data generation and realistic rendering has advanced tasks like target tracking and human pose estimation. Simulations for most robotics applications are obtained in (semi)static environments, with specific sensors and low visual fidelity. To solve this, we present a fully customizable framework for generating realistic animated dynamic environments (GRADE) for robotics research, first introduced in [1]. GRADE supports full simulation control, ROS integration, realistic physics, while being in an engine that produces high visual fidelity images and ground truth data. We use GRADE to generate a dataset focused on indoor dynamic scenes with people and flying objects. Using this, we evaluate the performance of YOLO and Mask R-CNN on the tasks of segmenting and detecting people. Our results provide evidence that using data generated with GRADE can improve the model performance when used for a pre-training step. We also show that, even training using only synthetic data, can generalize well to real-world images in the same application domain such as the ones from the TUM-RGBD dataset. The code, results, trained models, and the generated data are provided as open-source at https://eliabntt.github.io/grade-rr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google