MBE-ARI: A Multimodal Dataset Mapping Bi-directional Engagement in Animal-Robot Interaction

要約

ロボットは、ボディーランゲージ、動き、発声などの動物の複雑でマルチモーダルなコミュニケーションの合図を解釈するのに苦労しているため、動物とロボットの相互作用（ARI）はロボット工学における未開拓の課題のままです。
確立されたデータセットやフレームワークの恩恵を受ける人間とロボットの相互作用とは異なり、動物とロボットの相互作用には、意味のある双方向コミュニケーションを促進するために必要な基礎リソースがありません。
このギャップを埋めるために、脚のロボットと牛の間の詳細な相互作用をキャプチャする新しいマルチモーダルデータセットであるMBE-ARI（動物とロボットの相互作用におけるマルチモーダル双方向の関与）を提示します。
データセットには、複数の視点からの同期されたRGB-Dストリームが含まれており、相互作用フェーズ全体でボディポーズとアクティビティラベルが注釈されており、ARI研究の前例のないレベルの詳細を提供します。
さらに、四足動物に合わせて調整された全身ポーズ推定モデルを導入します。これは、92.7％の平均平均精度（MAP）で39のキーポイントを追跡でき、動物のポーズ推定で既存のベンチマークを上回ります。
MBE-ARIデータセットとポーズ推定フレームワークは、動物とロボットの相互作用の研究を進めるための堅牢な基盤を築き、ロボットと動物の間の効果的なコラボレーションに必要な知覚、推論、および相互作用フレームワークを開発するための不可欠なツールを提供します。
データセットとリソースは、https://github.com/riselabpurdue/mbe-ari/で公開されており、この重要な分野でさらに探索と開発を招待しています。

要約(オリジナル)

Animal-robot interaction (ARI) remains an unexplored challenge in robotics, as robots struggle to interpret the complex, multimodal communication cues of animals, such as body language, movement, and vocalizations. Unlike human-robot interaction, which benefits from established datasets and frameworks, animal-robot interaction lacks the foundational resources needed to facilitate meaningful bidirectional communication. To bridge this gap, we present the MBE-ARI (Multimodal Bidirectional Engagement in Animal-Robot Interaction), a novel multimodal dataset that captures detailed interactions between a legged robot and cows. The dataset includes synchronized RGB-D streams from multiple viewpoints, annotated with body pose and activity labels across interaction phases, offering an unprecedented level of detail for ARI research. Additionally, we introduce a full-body pose estimation model tailored for quadruped animals, capable of tracking 39 keypoints with a mean average precision (mAP) of 92.7%, outperforming existing benchmarks in animal pose estimation. The MBE-ARI dataset and our pose estimation framework lay a robust foundation for advancing research in animal-robot interaction, providing essential tools for developing perception, reasoning, and interaction frameworks needed for effective collaboration between robots and animals. The dataset and resources are publicly available at https://github.com/RISELabPurdue/MBE-ARI/, inviting further exploration and development in this critical area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google