Learning to Visually Connect Actions and their Effects

要約

この研究では、ビデオ理解におけるアクションとその効果を視覚的に接続する (CATE) という新しい概念を導入します。
CATE は、タスク計画やデモンストレーションからの学習などの分野に応用できます。
私たちは、アクションの選択やアクションの仕様など、さまざまな CATE ベースのタスクの定式化を提案します。この定式化では、ビデオ理解モデルがアクションと効果を意味論的かつ詳細なレベルで結び付けます。
さまざまな定式化によって、直感的なアクションの特性を捉えた表現が生成されることが観察されます。
また、アクションの選択とアクションの仕様のためのさまざまなベースライン モデルも設計します。
このタスクの直感的な性質にもかかわらず、モデルは苦戦しており、人間がモデルを大幅に上回っていることが観察されています。
この研究は、将来の取り組みのための基盤を確立することを目的としており、ビデオ理解におけるアクションと効果を結び付ける柔軟性と多用途性を示し、高度な定式化とモデルを生み出すことを期待しています。

要約(オリジナル)

In this work, we introduce the novel concept of visually Connecting Actions and Their Effects (CATE) in video understanding. CATE can have applications in areas like task planning and learning from demonstration. We propose different CATE-based task formulations, such as action selection and action specification, where video understanding models connect actions and effects at semantic and fine-grained levels. We observe that different formulations produce representations capturing intuitive action properties. We also design various baseline models for action selection and action specification. Despite the intuitive nature of the task, we observe that models struggle, and humans outperform them by a large margin. The study aims to establish a foundation for future efforts, showcasing the flexibility and versatility of connecting actions and effects in video understanding, with the hope of inspiring advanced formulations and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google