Abductive Action Inference

要約

タイトル：Abductive Action Inference

要約：
– 不完全な観測に基づいて最も可能性の高い推論を行う鳥瞰的推論（abductive reasoning）に焦点を当てた研究である。
– 本研究では、新しいタスクである「abductive action inference」を提案する。このタスクでは、状況が与えられた場合、モデルは「現在の状態に到達するために人間が実行した行動は何か？」という問いに答える。
– 状態が与えられた場合、3つの鳥瞰的推論の問題を調査する：行動セットの予測、行動シーケンスの予測、そして鳥瞰的行動の確認。
– Transformers、Graph neural networks、CLIP、BLIP、end-to-end trained Slow-Fast、Resnet50-3Dなど、いくつかのSOTAモデルをベンチマークに行う。
– 新しく提案されたオブジェクト関係BiGEDモデルは、Action Genomeデータセットのこの難しいタスクにおいて、すべての他の方法を凌駕する。
– コードは公開される予定である。

要約(オリジナル)

Abductive reasoning aims to make the most likely inference for a given set of incomplete observations. In this work, we propose a new task called abductive action inference, in which given a situation, the model answers the question `what actions were executed by the human in order to arrive in the current state?’. Given a state, we investigate three abductive inference problems: action set prediction, action sequence prediction, and abductive action verification. We benchmark several SOTA models such as Transformers, Graph neural networks, CLIP, BLIP, end-to-end trained Slow-Fast, and Resnet50-3D models. Our newly proposed object-relational BiGED model outperforms all other methods on this challenging task on the Action Genome dataset. Codes will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI