Neural Message Passing for Visual Relationship Detection

要約

視覚関係検出は画像中の物体間の相互作用を検出することを目的とするが、このタスクは物体や相互作用の多様性による組合せ爆発に悩まされている。本研究では、同じオブジェクトに関連する相互作用は依存関係にあるため、相互作用の依存関係を探索し、探索空間を縮小する。我々は、オブジェクトとインタラクションをインタラクショングラフで明示的にモデル化し、文脈情報を伝播するメッセージパッシングスタイルのアルゴリズムを提案する。提案手法をニューラルメッセージパッシング(NMP)と呼ぶ。さらに、非現実的な相互作用を排除し、空間的な相互作用を捉えるために、言語プリアと空間キューを統合する。2つのベンチマークデータセットに対する実験結果から、提案手法の優位性を実証する。我々のコードは https://github.com/PhyllisH/NMP で公開されている。

要約(オリジナル)

Visual relationship detection aims to detect the interactions between objects in an image; however, this task suffers from combinatorial explosion due to the variety of objects and interactions. Since the interactions associated with the same object are dependent, we explore the dependency of interactions to reduce the search space. We explicitly model objects and interactions by an interaction graph and then propose a message-passing-style algorithm to propagate the contextual information. We thus call the proposed method neural message passing (NMP). We further integrate language priors and spatial cues to rule out unrealistic interactions and capture spatial interactions. Experimental results on two benchmark datasets demonstrate the superiority of our proposed method. Our code is available at https://github.com/PhyllisH/NMP.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL