Symmetry-Aware Transformer-based Mirror Detection

要約

ミラー検出は、指定された入力画像のミラー領域を識別することを目的としています。
既存の作品は、主に意味的特徴と構造的特徴を統合してミラー領域と非ミラー領域の間の類似性と不連続性を掘り起こすこと、またはミラーの存在を分析するのに役立つ深度情報を導入することに焦点を当てています。
この作業では、実際のオブジェクトは通常、ミラーでの対応する反射と緩い対称関係を形成することを観察します。これは、ミラーを実際のオブジェクトと区別するのに役立ちます。
この観察に基づいて、対称性認識モジュール（SAAM）とコントラストおよび融合デコーダーモジュール（CFDM）の2つの新しいモジュールを含むデュアルパス対称性認識トランスベースのミラー検出ネットワーク（SATNet）を提案します。
具体的には、最初にトランスフォーマーバックボーンを導入して、画像内のグローバルな情報集約をモデル化し、2つのパスでマルチスケールの特徴を抽出します。
次に、高レベルのデュアルパス機能をSAAMにフィードして、対称関係をキャプチャします。
最後に、デュアルパス機能を融合し、予測マップをCFDMで段階的に改良して、最終的なミラーマスクを取得します。
実験結果は、SATNetが利用可能なすべてのミラー検出データセットでRGBおよびRGB-Dミラー検出方法の両方よりも優れていることを示しています。

要約(オリジナル)

Mirror detection aims to identify the mirror regions in the given input image. Existing works mainly focus on integrating the semantic features and structural features to mine the similarity and discontinuity between mirror and non-mirror regions, or introducing depth information to help analyze the existence of mirrors. In this work, we observe that a real object typically forms a loose symmetry relationship with its corresponding reflection in the mirror, which is beneficial in distinguishing mirrors from real objects. Based on this observation, we propose a dual-path Symmetry-Aware Transformer-based mirror detection Network (SATNet), which includes two novel modules: Symmetry-Aware Attention Module (SAAM) and Contrast and Fusion Decoder Module (CFDM). Specifically, we first introduce the transformer backbone to model global information aggregation in images, extracting multi-scale features in two paths. We then feed the high-level dual-path features to SAAMs to capture the symmetry relations. Finally, we fuse the dual-path features and refine our prediction maps progressively with CFDMs to obtain the final mirror mask. Experimental results show that SATNet outperforms both RGB and RGB-D mirror detection methods on all available mirror detection datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google