Mobile Robot Oriented Large-Scale Indoor Dataset for Dynamic Scene Understanding

要約

既存のロボット データセットのほとんどは静的なシーン データをキャプチャするため、ロボットの動的パフォーマンスの評価には限界があります。
これに対処するために、動的なシーン理解アルゴリズムをトレーニングおよび評価するための、THUD (清華大学ダイナミック) ロボット データセットと呼ばれる、モバイル ロボット指向の大規模屋内データセットを紹介します。
具体的には、最初に、組織、取得、および注釈の方法を含む THUD データセットの構築について詳しく説明します。
これは、実際のロボット プラットフォームと物理シミュレーション プラットフォームでそれぞれ収集された現実世界データと合成データの両方で構成されます。
現在のデータセットには、13 の大規模な動的シナリオ、90K の画像フレーム、静的および動的オブジェクトの 20M の 2D/3D バウンディング ボックス、カメラのポーズ、および IMU が含まれています。
データセットは今も拡大し続けています。
次に、主流の屋内シーン理解タスクの実行。
3D オブジェクトの検出、セマンティック セグメンテーション、ロボットの再位置推定は、THUD データセットで評価されます。
これらの実験は、動的シーンにおける一部のロボット シーン理解タスクに対する深刻な課題を明らかにしました。
このデータセットを共有することで、ロボットの実際の動作動的環境、つまり複雑で混雑した動的シーン向けに新しいモバイルロボットアルゴリズムを迅速に育成し、反復することを目指しています。

要約(オリジナル)

Most existing robotic datasets capture static scene data and thus are limited in evaluating robots’ dynamic performance. To address this, we present a mobile robot oriented large-scale indoor dataset, denoted as THUD (Tsinghua University Dynamic) robotic dataset, for training and evaluating their dynamic scene understanding algorithms. Specifically, the THUD dataset construction is first detailed, including organization, acquisition, and annotation methods. It comprises both real-world and synthetic data, collected with a real robot platform and a physical simulation platform, respectively. Our current dataset includes 13 larges-scale dynamic scenarios, 90K image frames, 20M 2D/3D bounding boxes of static and dynamic objects, camera poses, and IMU. The dataset is still continuously expanding. Then, the performance of mainstream indoor scene understanding tasks, e.g. 3D object detection, semantic segmentation, and robot relocalization, is evaluated on our THUD dataset. These experiments reveal serious challenges for some robot scene understanding tasks in dynamic scenes. By sharing this dataset, we aim to foster and iterate new mobile robot algorithms quickly for robot actual working dynamic environment, i.e. complex crowded dynamic scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google