THÖR-MAGNI Act: Actions for Human Motion Modeling in Robot-Shared Industrial Spaces

要約

人間の活動と軌道を正確に予測することは、産業環境などの動的環境における移動ロボットとの安全かつ信頼性の高い人間とロボットの相互作用を確保するために非常に重要です。
既存のデータセットのほとんどは公共空間でのソーシャル ナビゲーションに焦点を当てているため、モバイル ロボットを使用して産業環境で人々を移動させるためのきめ細かいアクション ラベルを備えたデータセットは希少です。
このペーパーでは、TH\’OR-MAGNI データセットの大幅な拡張である TH\’OR-MAGNI Act データセットを紹介します。このデータセットは、さまざまな意味論的および空間的コンテキストでロボットと並んで参加者の動きを捕捉します。
TH\’OR-MAGNI Act は、視線追跡メガネを介して記録された自己中心的なビデオから派生した、手動でラベル付けされた参加者のアクションを 8.3 時間提供します。
これらのアクションは、提供された TH\’OR-MAGNI モーション キューに合わせて、多様な加速度、速度、ナビゲーション距離のプロファイルを持つロングテール分布に従います。
アクション条件付き軌道予測と共同アクションと軌道予測という 2 つのタスクに対する TH\’OR-MAGNI Act の有用性を実証します。
これらのタスクに対処するために、ベースラインを上回る 2 つの効率的なトランスベースのモデルを提案します。
これらの結果は、複雑な環境における人間とロボットの相互作用を強化するための予測モデルを開発するTH\’OR-MAGNI Actの可能性を強調しています。

要約(オリジナル)

Accurate human activity and trajectory prediction are crucial for ensuring safe and reliable human-robot interactions in dynamic environments, such as industrial settings, with mobile robots. Datasets with fine-grained action labels for moving people in industrial environments with mobile robots are scarce, as most existing datasets focus on social navigation in public spaces. This paper introduces the TH\’OR-MAGNI Act dataset, a substantial extension of the TH\’OR-MAGNI dataset, which captures participant movements alongside robots in diverse semantic and spatial contexts. TH\’OR-MAGNI Act provides 8.3 hours of manually labeled participant actions derived from egocentric videos recorded via eye-tracking glasses. These actions, aligned with the provided TH\’OR-MAGNI motion cues, follow a long-tailed distribution with diversified acceleration, velocity, and navigation distance profiles. We demonstrate the utility of TH\’OR-MAGNI Act for two tasks: action-conditioned trajectory prediction and joint action and trajectory prediction. We propose two efficient transformer-based models that outperform the baselines to address these tasks. These results underscore the potential of TH\’OR-MAGNI Act to develop predictive models for enhanced human-robot interaction in complex environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google