Devil’s on the Edges: Selective Quad Attention for Scene Graph Generation

要約

タイトル: シーングラフ生成のためのセレクティブクアッドアテンション：Devil’s on the Edges

要約:
-シーングラフ生成は、画像から意味論的グラフ構造を構築することを目的としています。このグラフ構造のノードとエッジはそれぞれ、オブジェクトとその関係を表しています。
– このタスクの主要な課題の一つは、画像中の邪魔なオブジェクトや関係が存在することです。周辺情報は、無関係なオブジェクトや背景、そしてそのうち非常に多くが関係がない関係によって強く妨げられます。
– この問題に対処するために、我々は選択的なクワッドアテンションネットワーク（SQUAT）を提案しています。このネットワークは、関連するオブジェクトペアを選択し、様々な文脈的な相互作用を介してそれらを曖昧さを解消します。
– SQUATは、エッジ選択とクワッドアテンションの2つの主要なコンポーネントから構成されています。エッジ選択モジュールは、文脈理解を支援する関連するオブジェクトペア、つまりシーングラフのエッジを選択し、クワッドアテンションモジュールは、オブジェクトペアやオブジェクト間の文脈情報をキャプチャするために、エッジからノード、エッジからエッジの両方のクロスアテンションを使用してエッジ機能を更新します。
– 実験により、SQUATの強力なパフォーマンスと堅牢性が証明され、Visual GenomeおよびOpen Images v6ベンチマークで最先端の性能を実現しています。

要約(オリジナル)

Scene graph generation aims to construct a semantic graph structure from an image such that its nodes and edges respectively represent objects and their relationships. One of the major challenges for the task lies in the presence of distracting objects and relationships in images; contextual reasoning is strongly distracted by irrelevant objects or backgrounds and, more importantly, a vast number of irrelevant candidate relations. To tackle the issue, we propose the Selective Quad Attention Network (SQUAT) that learns to select relevant object pairs and disambiguate them via diverse contextual interactions. SQUAT consists of two main components: edge selection and quad attention. The edge selection module selects relevant object pairs, i.e., edges in the scene graph, which helps contextual reasoning, and the quad attention module then updates the edge features using both edge-to-node and edge-to-edge cross-attentions to capture contextual information between objects and object pairs. Experiments demonstrate the strong performance and robustness of SQUAT, achieving the state of the art on the Visual Genome and Open Images v6 benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI