Unbiased Heterogeneous Scene Graph Generation with Relation-aware Message Passing Neural Network

要約

最近のシーン グラフ生成 (SGG) フレームワークは、画像内の複数のオブジェクト間の複雑な関係を学習することに重点を置いています。
オブジェクトとその隣接オブジェクト間の高次の相互作用をモデル化するメッセージ パッシング ニューラル ネットワーク (MPNN) の性質により、MPNN は SGG の主要な表現学習モジュールです。
ただし、既存の MPNN ベースのフレームワークは、シーン グラフを同種のグラフとして想定しているため、オブジェクト間の視覚的な関係のコンテキスト認識が制限されます。
つまり、関係が関連付けられているオブジェクトに大きく依存する傾向があるという事実を見落としています。
この論文では、メッセージ パッシング ニューラル ネットワークを使用して関係を認識したコンテキストをキャプチャする不偏異種シーン グラフ生成 (HetSGG) フレームワークを提案します。
私たちは、オブジェクト間の述語タイプを考慮して画像のコンテキスト情報を集約する、関係認識型メッセージ パッシング ニューラル ネットワーク (RMP) と呼ばれる新しいメッセージ パッシング レイヤーを考案しました。
私たちの広範な評価により、HetSGG が最先端のメソッドよりも優れたパフォーマンスを発揮し、特に末尾述語クラスで優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

Recent scene graph generation (SGG) frameworks have focused on learning complex relationships among multiple objects in an image. Thanks to the nature of the message passing neural network (MPNN) that models high-order interactions between objects and their neighboring objects, they are dominant representation learning modules for SGG. However, existing MPNN-based frameworks assume the scene graph as a homogeneous graph, which restricts the context-awareness of visual relations between objects. That is, they overlook the fact that the relations tend to be highly dependent on the objects with which the relations are associated. In this paper, we propose an unbiased heterogeneous scene graph generation (HetSGG) framework that captures relation-aware context using message passing neural networks. We devise a novel message passing layer, called relation-aware message passing neural network (RMP), that aggregates the contextual information of an image considering the predicate type between objects. Our extensive evaluations demonstrate that HetSGG outperforms state-of-the-art methods, especially outperforming on tail predicate classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google