Robust RGB-D Fusion for Saliency Detection

要約

正確な RGB-D 顕著性検出のためにマルチモーダル入力を効率的に活用することは、非常に興味深いトピックです。
ほとんどの既存の作品は、中間機能の強化のために RGB-D の 2 つのストリームを融合するクロスモーダル インタラクションを活用しています。
このプロセスでは、利用可能な深さの質の低さの実用的な側面はまだ十分に考慮されていません。
この作業では、主に 2 つの形式で現れる低品質の深度に対して堅牢な RGB-D 顕著性検出を目指しています: ノイズによる不正確さと RGB へのずれです。
この目的のために、(1) レイヤー単位、および (2) トライデントの空間的注意メカニズムの恩恵を受ける堅牢な RGB-D 融合方法を提案します。
一方では、レイヤーごとの注意 (LWA) は、深さの精度に応じて、RGB と深さの特徴の早期融合と後期融合の間のトレードオフを学習します。
一方、トライデントの空間的注意 (TSA) は、より広い空間コンテキストからフィーチャを集約して、深度のずれの問題に対処します。
提案された LWA および TSA メカニズムにより、低品質の深さに対して堅牢でありながら、顕著性検出のためにマルチモーダル入力を効率的に活用できます。
5 つのベンチマーク データセットでの実験では、提案された融合手法が最先端の融合手法よりも一貫して優れたパフォーマンスを発揮することが示されました。

要約(オリジナル)

Efficiently exploiting multi-modal inputs for accurate RGB-D saliency detection is a topic of high interest. Most existing works leverage cross-modal interactions to fuse the two streams of RGB-D for intermediate features’ enhancement. In this process, a practical aspect of the low quality of the available depths has not been fully considered yet. In this work, we aim for RGB-D saliency detection that is robust to the low-quality depths which primarily appear in two forms: inaccuracy due to noise and the misalignment to RGB. To this end, we propose a robust RGB-D fusion method that benefits from (1) layer-wise, and (2) trident spatial, attention mechanisms. On the one hand, layer-wise attention (LWA) learns the trade-off between early and late fusion of RGB and depth features, depending upon the depth accuracy. On the other hand, trident spatial attention (TSA) aggregates the features from a wider spatial context to address the depth misalignment problem. The proposed LWA and TSA mechanisms allow us to efficiently exploit the multi-modal inputs for saliency detection while being robust against low-quality depths. Our experiments on five benchmark datasets demonstrate that the proposed fusion method performs consistently better than the state-of-the-art fusion alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google