Action-conditioned Deep Visual Prediction with RoAM, a new Indoor Human Motion Dataset for Autonomous Robots

要約

業界全体でロボットの採用が増加しているため、ロボットが人間と協力して効果的に動作を予測、理解、計画できるようにする高度なアルゴリズムの開発に重点を置くことが重要です。
ロボット自律運動 (RoAM) ビデオ データセットを紹介します。これは、さまざまな屋内環境でカスタムメイドの Turtlebot3 Burger ロボットを使用して収集され、ロボットの自我視覚からさまざまな人間の動きを記録します。
このデータセットには、LiDAR スキャンの同期記録と、ロボットが静的および移動する人間のエージェントの周りを移動する際に実行するすべての制御アクションも含まれています。
独自のデータセットは、部分的に観察可能なシナリオまたはイメージング センサーが移動プラットフォームに取り付けられている場合において、記録エージェントが実行するアクションに基づいて将来の画像フレームを予測できる新しい視覚予測フレームワークを開発およびベンチマークする機会を提供します。
私たちは、ACPNetと呼ばれる新しいディープビジュアル予測フレームワークでデータセットのベンチマークを行い、近似された将来の画像フレームもロボットが実行するアクションに条件付けされ、モバイルロボット工学や自律ナビゲーション研究のためのビデオ予測パラダイムにロボットダイナミクスを組み込む可能性を実証しました。

要約(オリジナル)

With the increasing adoption of robots across industries, it is crucial to focus on developing advanced algorithms that enable robots to anticipate, comprehend, and plan their actions effectively in collaboration with humans. We introduce the Robot Autonomous Motion (RoAM) video dataset, which is collected with a custom-made turtlebot3 Burger robot in a variety of indoor environments recording various human motions from the robot’s ego-vision. The dataset also includes synchronized records of the LiDAR scan and all control actions taken by the robot as it navigates around static and moving human agents. The unique dataset provides an opportunity to develop and benchmark new visual prediction frameworks that can predict future image frames based on the action taken by the recording agent in partially observable scenarios or cases where the imaging sensor is mounted on a moving platform. We have benchmarked the dataset on our novel deep visual prediction framework called ACPNet where the approximated future image frames are also conditioned on action taken by the robot and demonstrated its potential for incorporating robot dynamics into the video prediction paradigm for mobile robotics and autonomous navigation research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google