GRADE: Generating Realistic Animated Dynamic Environments for Robotics Research

要約

近年、ターゲット追跡や人間の姿勢推定などのコンピュータ ビジョン タスクは、合成データ生成や新しいレンダリング技術から多大な恩恵を受けています。
一方で、ロボット工学の手法、特にロボットの知覚に関する手法は、これらの技術を活用するのが遅れています。
これは、ロボット工学向けの最先端のシミュレーション フレームワークには、完全な制御、ロボット オペレーティング システム (ROS) との統合、現実的な物理学、フォトリアリズムのいずれかが欠けているためです。
これを解決するために、主にロボットの知覚に焦点を当てた、ロボット研究用のリアルなアニメーション動的環境 (GRADE) を生成するための完全にカスタマイズ可能なフレームワークを紹介します。
このフレームワークは、ロボット ビジョン関連のタスクやオフライン処理のグラウンド トゥルース データを生成したり、動的な環境でオンラインでロボットを実験したりするために使用できます。
Nvidia Isaac Sim をベースにして、カスタム ロボットの制御を可能にします。
アセットを組み込み、シミュレーションを設定および制御し、データを処理するためのメソッドを提供します。
GRADE の自律ロボットを使用して、屋内の動的環境のビデオ データセットを生成します。
まず、これを使用して、YOLO と Mask R-CNN の実験を通じてシミュレーションと現実のギャップを評価することで、フレームワークの視覚的なリアリズムを実証します。
次に、このデータセットを使用して動的 SLAM アルゴリズムのベンチマークを行います。
これは、GRADE がトレーニングのパフォーマンスと実際のシーケンスへの一般化を大幅に向上できることを示しているだけでなく、現在の動的 SLAM メソッドが既知のベンチマークに過度に依存しており、一般化に失敗していることも強調しています。
また、ロボットの周囲の変化を許容しながら、以前に記録した実験を正確に繰り返す方法も紹介します。
コードとデータは、https://grade.is.tue.mpg.de でオープンソースとして提供されます。

要約(オリジナル)

In recent years, computer vision tasks like target tracking and human pose estimation have immensely benefited from synthetic data generation and novel rendering techniques. On the other hand, methods in robotics, especially for robot perception, have been slow to leverage these techniques. This is because state-of-the-art simulation frameworks for robotics lack either complete control, integration with the Robot Operating System (ROS), realistic physics or photorealism. To solve this, we present a fully customizable framework for generating realistic animated dynamic environments (GRADE) for robotics research, focused primarily at robot perception. The framework can be used either to generate ground truth data for robotic vision-related tasks and offline processing, or to experiment with robots online in dynamic environments. We build upon the Nvidia Isaac Sim to allow control of custom robots. We provide methods to include assets, populate and control the simulation, and process the data. Using autonomous robots in GRADE, we generate video datasets of an indoor dynamic environment. First, we use it to demonstrate the framework’s visual realism by evaluating the sim-to-real gap through experiments with YOLO and Mask R-CNN. Second, we benchmark dynamic SLAM algorithms with this dataset. This not only shows that GRADE can significantly improve training performance and generalization to real sequences, but also highlights how current dynamic SLAM methods over-rely on known benchmarks, failing to generalize. We also introduce a method to precisely repeat a previously recorded experiment, while allowing changes in the surroundings of the robot. Code and data are provided as open-source at https://grade.is.tue.mpg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google