Abductive Action Inference

要約

タイトル：アブダクティブアクション推論
要約：

– アブダクション推論とは、不完全な観測値に対して最も可能性が高い推論を行うことを目的とする。
– この論文では、新しいタスクであるアブダクティブアクション推論を提案する。
– アブダクティブアクション推論とは、ある状況が与えられたとき、モデルが「現在の状態に到達するために人間が実行したアクションは何か？」という質問に答えることを目的とする。
– アブダクティブアクション推論では、ある状態が与えられたときに、アクションセットの予測、アクションシーケンスの予測、およびアブダクティブアクションの検証の3つの推論問題を調査する。
– この論文では、Transformers、グラフニューラルネットワーク、CLIP、BLIP、エンドツーエンドトレーニングされたSlow-Fast、およびResnet50-3Dモデルなど、いくつかの最先端のモデルを比較する。
– 著者らは、新たに提案されたオブジェクトリレーショナルBiGEDモデルが、Action Genomeデータセット上のこの難しいタスクで、すべての他の方法を上回る最高の性能を示した。
– コードが公開される予定である。

要約(オリジナル)

Abductive reasoning aims to make the most likely inference for a given set of incomplete observations. In this work, we propose a new task called abductive action inference, in which given a situation, the model answers the question `what actions were executed by the human in order to arrive in the current state?’. Given a state, we investigate three abductive inference problems: action set prediction, action sequence prediction, and abductive action verification. We benchmark several SOTA models such as Transformers, Graph neural networks, CLIP, BLIP, end-to-end trained Slow-Fast, and Resnet50-3D models. Our newly proposed object-relational BiGED model outperforms all other methods on this challenging task on the Action Genome dataset. Codes will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI