Inter-object Discriminative Graph Modeling for Indoor Scene Recognition

要約

多様なシーンレイアウトとシーン間に共存するオブジェクトにより、屋内シーン認識は依然として困難なタスクである。特徴表現の識別性を高めるために、シーン内のオブジェクト情報を活用することが、この領域における重要なアプローチとして浮上している。現在、ほとんどのオブジェクト支援手法は、オブジェクト情報を処理するために別のブランチを使用し、オブジェクトとシーンの特徴を発見的に組み合わせている。しかし、物体情報内に隠された識別知識を解釈可能に扱うことに注意を払うものはほとんどない。本論文では、シーン特徴表現を強化するために、識別可能なオブジェクト知識を活用することを提案する。まず、オブジェクトとシーンの識別関係を確率的な観点から捉え、それをオブジェクト間識別プロトタイプ（IODP）に変換する。IODPから得られる豊富な事前知識をもとに、ピクセルレベルのシーン特徴をノードとして定義し、ノード特徴間の識別関係をエッジとして符号化した識別グラフネットワーク（DGN）を構築する。DGNは、グラフの畳み込みとマッピング操作（GCN）を通じて、画像表現にオブジェクト間の識別知識を組み込むことを目的としている。提案するIODPとDGNを用いて、広く利用されているいくつかのシーンデータセットで最先端の結果を得て、提案アプローチの有効性を実証する。

要約(オリジナル)

Variable scene layouts and coexisting objects across scenes make indoor scene recognition still a challenging task. Leveraging object information within scenes to enhance the distinguishability of feature representations has emerged as a key approach in this domain. Currently, most object-assisted methods use a separate branch to process object information, combining object and scene features heuristically. However, few of them pay attention to interpretably handle the hidden discriminative knowledge within object information. In this paper, we propose to leverage discriminative object knowledge to enhance scene feature representations. Initially, we capture the object-scene discriminative relationships from a probabilistic perspective, which are transformed into an Inter-Object Discriminative Prototype (IODP). Given the abundant prior knowledge from IODP, we subsequently construct a Discriminative Graph Network (DGN), in which pixel-level scene features are defined as nodes and the discriminative relationships between node features are encoded as edges. DGN aims to incorporate inter-object discriminative knowledge into the image representation through graph convolution and mapping operations (GCN). With the proposed IODP and DGN, we obtain state-of-the-art results on several widely used scene datasets, demonstrating the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL