EgoPet: Egomotion and Interaction Data from an Animal’s Perspective

要約

動物は世界を認識して行動を計画し、他のエージェントと対話して複雑なタスクを達成し、依然として AI システムに匹敵しない能力を発揮します。
理解を進め、動物と AI システムの能力間のギャップを減らすために、同時エゴモーションとマルチエージェント インタラクションのさまざまな例を含むペットのエゴモーション画像のデータセットを導入します。
現在のビデオ データセットにはエゴモーションとインタラクションの例が別々に含まれていますが、両方が同時に含まれることはほとんどありません。
さらに、EgoPet は、人間や車両の既存の自己中心的なデータセットとは根本的に異なる視点を提供します。
動物の行動を捕捉する 2 つのドメイン内ベンチマーク タスクと、ロボットによる四足歩行の事前トレーニング リソースとしての EgoPet の有用性を評価する 3 つ目のベンチマークを定義し、EgoPet からトレーニングされたモデルが以前のデータセットからトレーニングされたモデルよりも優れていることを示します。

要約(オリジナル)

Animals perceive the world to plan their actions and interact with other agents to accomplish complex tasks, demonstrating capabilities that are still unmatched by AI systems. To advance our understanding and reduce the gap between the capabilities of animals and AI systems, we introduce a dataset of pet egomotion imagery with diverse examples of simultaneous egomotion and multi-agent interaction. Current video datasets separately contain egomotion and interaction examples, but rarely both at the same time. In addition, EgoPet offers a radically distinct perspective from existing egocentric datasets of humans or vehicles. We define two in-domain benchmark tasks that capture animal behavior, and a third benchmark to assess the utility of EgoPet as a pretraining resource to robotic quadruped locomotion, showing that models trained from EgoPet outperform those trained from prior datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google