Symmetry-Aware Transformer-based Mirror Detection

要約

ミラー検出は、指定された入力画像内のミラー領域を識別することを目的としています。
既存の研究は主に、セマンティック機能と構造機能を統合してミラー領域と非ミラー領域の間の特定の関係を掘り下げること、またはミラーの存在を分析するのに役立つ深さやキラリティーなどのミラー プロパティを導入することに焦点を当てています。
この作業では、実際のオブジェクトは通常、ミラー内の対応する反射と緩やかな対称関係を形成することがわかります。これは、ミラーと実際のオブジェクトを区別するのに役立ちます。
この観察に基づいて、対称性認識アテンション モジュール (SAAM) とコントラストおよびフュージョン デコーダー モジュール (CFDM) の 2 つの新しいモジュールを含む、デュアルパス対称性認識トランスベースのミラー検出ネットワーク (SATNet) を提案します。
具体的には、最初にトランスフォーマー バックボーンを採用して、画像内のグローバルな情報集約をモデル化し、2 つのパスでマルチスケールの特徴を抽出します。
次に、高レベルのデュアルパス機能を SAAM にフィードして、対称関係を取得します。
最後に、デュアルパス機能を融合し、CFDM を使用して予測マップを徐々に改良して、最終的なミラー マスクを取得します。
実験結果は、利用可能なすべてのミラー検出データセットで、SATNet が RGB および RGB-D ミラー検出方法よりも優れていることを示しています。
コードとトレーニング済みモデルは、https://github.com/tyhuang0428/SATNet で入手できます。

要約(オリジナル)

Mirror detection aims to identify the mirror regions in the given input image. Existing works mainly focus on integrating the semantic features and structural features to mine specific relations between mirror and non-mirror regions, or introducing mirror properties like depth or chirality to help analyze the existence of mirrors. In this work, we observe that a real object typically forms a loose symmetry relationship with its corresponding reflection in the mirror, which is beneficial in distinguishing mirrors from real objects. Based on this observation, we propose a dual-path Symmetry-Aware Transformer-based mirror detection Network (SATNet), which includes two novel modules: Symmetry-Aware Attention Module (SAAM) and Contrast and Fusion Decoder Module (CFDM). Specifically, we first adopt a transformer backbone to model global information aggregation in images, extracting multi-scale features in two paths. We then feed the high-level dual-path features to SAAMs to capture the symmetry relations. Finally, we fuse the dual-path features and refine our prediction maps progressively with CFDMs to obtain the final mirror mask. Experimental results show that SATNet outperforms both RGB and RGB-D mirror detection methods on all available mirror detection datasets. Codes and trained models are available at: https://github.com/tyhuang0428/SATNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google