Multi-Projection Fusion and Refinement Network for Salient Object Detection in 360° Omnidirectional Image

要約

顕著なオブジェクト検出 (SOD) は、画像内で視覚的に最も魅力的なオブジェクトを特定することを目的としています。
仮想現実技術の発展に伴い、360{\deg} 全方向画像が広く使用されるようになりましたが、360{\deg} 全方向画像の SOD タスクは、その深刻な歪みと複雑なシーンのためにほとんど研究されていません。
この論文では、360{\deg}全方向画像内の顕著なオブジェクトを検出するためのマルチプロジェクションフュージョンおよびリファインメントネットワーク（MPFR-Net）を提案します。
既存の方法とは異なり、正距円筒図法画像と対応する 4 つのキューブ展開画像が入力として同時にネットワークに埋め込まれます。ここで、立方体展開画像は正距円筒図法画像の補足情報を提供するだけでなく、オブジェクトの完全性も保証します。
キューブマップ投影。
これら 2 つのプロジェクション モードを最大限に活用するために、Dynamic Weighting Fusion (DWF) モジュールは、インターおよびイントラ フィーチャの観点から、補完的かつ動的な方法でさまざまなプロジェクションのフィーチャを適応的に統合するように設計されています。
さらに、エンコーダー機能とデコーダー機能の間の相互作用の方法を完全に調査するために、機能自体と機能の間の冗長な情報を抑制するようにフィルター処理と洗練 (FR) モジュールが設計されています。
2 つの全方向データセットに関する実験結果は、提案されたアプローチが最先端の方法よりも質的にも量的にも優れていることを示しています。

要約(オリジナル)

Salient object detection (SOD) aims to determine the most visually attractive objects in an image. With the development of virtual reality technology, 360{\deg} omnidirectional image has been widely used, but the SOD task in 360{\deg} omnidirectional image is seldom studied due to its severe distortions and complex scenes. In this paper, we propose a Multi-Projection Fusion and Refinement Network (MPFR-Net) to detect the salient objects in 360{\deg} omnidirectional image. Different from the existing methods, the equirectangular projection image and four corresponding cube-unfolding images are embedded into the network simultaneously as inputs, where the cube-unfolding images not only provide supplementary information for equirectangular projection image, but also ensure the object integrity of the cube-map projection. In order to make full use of these two projection modes, a Dynamic Weighting Fusion (DWF) module is designed to adaptively integrate the features of different projections in a complementary and dynamic manner from the perspective of inter and intra features. Furthermore, in order to fully explore the way of interaction between encoder and decoder features, a Filtration and Refinement (FR) module is designed to suppress the redundant information between the feature itself and the feature. Experimental results on two omnidirectional datasets demonstrate that the proposed approach outperforms the state-of-the-art methods both qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google