M$^3$Net: Multilevel, Mixed and Multistage Attention Network for Salient Object Detection

要約

既存の顕著な物体検出方法のほとんどは、U-Net または特徴ピラミッド構造を使用することが多く、異なるスケールの特徴マップを単純に集約し、それらの一意性と相互依存性、および最終予測へのそれぞれの寄与を無視します。
これらを克服するために、我々は M$^3$Net、つまり顕著物体検出 (SOD) のための多レベル、混合、多段階の注意ネットワークを提案します。
まず、マルチスケール インタラクション ブロックを提案します。これは、マルチレベル特徴間の相互作用を実現するクロスアテンション アプローチを革新的に導入し、高レベルの特徴が低レベルの特徴学習をガイドできるようにして、顕著な領域を強化します。
第二に、従来の Transformer ベースの SOD 手法では、グローバルな自己注意のみを使用して顕著な領域の位置を特定し、複雑なオブジェクトの詳細を必然的に見逃していたという事実を考慮して、混合注意ブロックを提案します。
このブロックは、グローバル セルフ アテンションとウィンドウ セルフ アテンションを組み合わせ、グローバル レベルとローカル レベルの両方でコンテキストをモデル化して、予測マップの精度をさらに向上させることを目的としています。
最後に、集約された機能を段階的に最適化するためのマルチレベルの監視戦略を提案しました。
6 つの困難なデータセットでの実験により、提案された M$^3$Net が 4 つの指標の点で最近の CNN および Transformer ベースの SOD 技術を上回ることが実証されました。
コードは https://github.com/I2-Multimedia-Lab/M3Net で入手できます。

要約(オリジナル)

Most existing salient object detection methods mostly use U-Net or feature pyramid structure, which simply aggregates feature maps of different scales, ignoring the uniqueness and interdependence of them and their respective contributions to the final prediction. To overcome these, we propose the M$^3$Net, i.e., the Multilevel, Mixed and Multistage attention network for Salient Object Detection (SOD). Firstly, we propose Multiscale Interaction Block which innovatively introduces the cross-attention approach to achieve the interaction between multilevel features, allowing high-level features to guide low-level feature learning and thus enhancing salient regions. Secondly, considering the fact that previous Transformer based SOD methods locate salient regions only using global self-attention while inevitably overlooking the details of complex objects, we propose the Mixed Attention Block. This block combines global self-attention and window self-attention, aiming at modeling context at both global and local levels to further improve the accuracy of the prediction map. Finally, we proposed a multilevel supervision strategy to optimize the aggregated feature stage-by-stage. Experiments on six challenging datasets demonstrate that the proposed M$^3$Net surpasses recent CNN and Transformer-based SOD arts in terms of four metrics. Codes are available at https://github.com/I2-Multimedia-Lab/M3Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google