AUG: A New Dataset and An Efficient Model for Aerial Image Urban Scene Graph Generation

要約

シーン グラフ生成 (SGG) は、与えられた 1 つの画像から視覚オブジェクトとその意味関係を理解することを目的としています。
これまで、アイレベルビューの SGG データセットは数多く公開されていますが、俯瞰ビューの SGG データセットはほとんど研究されていません。
SGG を妨げるアイレベル ビューのオブジェクト オクルージョン問題とは対照的に、オーバーヘッド ビューは、地上シーン内のオブジェクトの空間関係を明確に認識できるようにすることで、SGG を促進するのに役立つ新しい視点を提供します。
俯瞰データセットのギャップを埋めるために、本稿では航空写真都市景観グラフ生成 (AUG) データセットを構築し、公開します。
AUG データセットからの画像は、低高度の俯瞰ビューで取得されます。
AUG データセットでは、25,594 個のオブジェクト、16,970 個の関係、および 27,175 個の属性に手動でアノテーションが付けられています。
複雑な航空都市シーンでローカルコンテキストが圧倒されるのを避けるために、この論文では、1 つの新しいローカリティ保存グラフ畳み込みネットワーク (LPG) を提案します。
SGG のグローバル コンテキストをキャプチャするという自然な利点を持つ従来のグラフ畳み込みネットワークとは異なり、LPG の畳み込み層は、オブジェクトの非破壊的な初期特徴を動的に更新される近傍情報と統合して、前提条件の下でローカル コンテキストを保存します。
グローバルコンテキストをマイニングすること。
非常に多数の潜在的なオブジェクト関係ペアが存在するが、AUG ではそれらのほんの一部だけが意味があるという問題に対処するために、潜在的な関係検出のための適応バウンディング ボックス スケーリング係数 (ABS-PRD) を提案し、
無意味な関係のペア。
AUG データセットに関する広範な実験により、私たちの LPG が最先端の方法と提案された局所性保存戦略の有効性を大幅に上回ることができることが示されました。

要約(オリジナル)

Scene graph generation (SGG) aims to understand the visual objects and their semantic relationships from one given image. Until now, lots of SGG datasets with the eyelevel view are released but the SGG dataset with the overhead view is scarcely studied. By contrast to the object occlusion problem in the eyelevel view, which impedes the SGG, the overhead view provides a new perspective that helps to promote the SGG by providing a clear perception of the spatial relationships of objects in the ground scene. To fill in the gap of the overhead view dataset, this paper constructs and releases an aerial image urban scene graph generation (AUG) dataset. Images from the AUG dataset are captured with the low-attitude overhead view. In the AUG dataset, 25,594 objects, 16,970 relationships, and 27,175 attributes are manually annotated. To avoid the local context being overwhelmed in the complex aerial urban scene, this paper proposes one new locality-preserving graph convolutional network (LPG). Different from the traditional graph convolutional network, which has the natural advantage of capturing the global context for SGG, the convolutional layer in the LPG integrates the non-destructive initial features of the objects with dynamically updated neighborhood information to preserve the local context under the premise of mining the global context. To address the problem that there exists an extra-large number of potential object relationship pairs but only a small part of them is meaningful in AUG, we propose the adaptive bounding box scaling factor for potential relationship detection (ABS-PRD) to intelligently prune the meaningless relationship pairs. Extensive experiments on the AUG dataset show that our LPG can significantly outperform the state-of-the-art methods and the effectiveness of the proposed locality-preserving strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google