A Saliency Enhanced Feature Fusion based multiscale RGB-D Salient Object Detection Network

要約

マルチスケール畳み込みニューラル ネットワーク (CNN) は、さまざまな視覚問題を解決する際に優れた能力を実証しています。
ただし、異なるスケールの特徴を融合すると、常にモデル サイズが大きくなり、RGB-D 顕著性検出におけるマルチスケール CNN の適用が妨げられます。
この論文では、RGB-D 顕著性検出用に、Saliency Enhanced Feature Fusion (SEFF) と呼ばれるカスタマイズされた特徴融合モジュールを提案します。
SEFF は、隣接するスケールの顕著性マップを利用して融合に必要な特徴を強化し、より代表的な融合特徴をもたらします。
当社のマルチスケール RGB-D 顕著性検出器は SEFF を使用し、3 つの異なるスケールで画像を処理します。
SEFF は、RGB と深度画像の機能、およびさまざまなスケールのデコーダーの機能を融合するために使用されます。
5 つのベンチマーク データセットでの広範な実験により、10 個の SOTA 顕著性検出器よりも私たちの方法の優位性が実証されました。

要約(オリジナル)

Multiscale convolutional neural network (CNN) has demonstrated remarkable capabilities in solving various vision problems. However, fusing features of different scales alwaysresults in large model sizes, impeding the application of multiscale CNNs in RGB-D saliency detection. In this paper, we propose a customized feature fusion module, called Saliency Enhanced Feature Fusion (SEFF), for RGB-D saliency detection. SEFF utilizes saliency maps of the neighboring scales to enhance the necessary features for fusing, resulting in more representative fused features. Our multiscale RGB-D saliency detector uses SEFF and processes images with three different scales. SEFF is used to fuse the features of RGB and depth images, as well as the features of decoders at different scales. Extensive experiments on five benchmark datasets have demonstrated the superiority of our method over ten SOTA saliency detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google