Joint Salient Object Detection and Camouflaged Object Detection via Uncertainty-aware Learning

要約

顕著な物体は人間の注意を引きつけ、通常は周囲からはっきりと目立ちます。
対照的に、カモフラージュされたオブジェクトは、環境と同様の色またはテクスチャを共有します。
この場合、顕著なオブジェクトは通常はカモフラージュされておらず、カモフラージュされたオブジェクトは通常は顕著ではありません。
この固有の矛盾した属性のため、データレベルおよびタスクごとの矛盾モデリングを介して顕著物体検出 (SOD) と偽装物体検出 (COD) の矛盾する情報を広範囲に調査するために、不確実性を認識した学習パイプラインを導入します。
まず、これら 2 つのタスクのデータセット相関を利用し、COD データセット内のイージー サンプルが SOD のハード サンプルとして機能し、SOD モデルの堅牢性を向上できると主張します。
これら 2 つのモデルは、同じ入力画像の異なる領域を強調表示するアクティベーション マップにつながるはずであるという仮定に基づいて、これら 2 つのタスクの矛盾する属性を明示的にモデル化するために、共同タスク対比学習フレームワークを備えた対比モジュールをさらに導入します。
教師なし表現学習のための従来のタスク内対比学習とは異なり、私たちの対比モジュールはタスクごとの相関をモデル化するように設計されており、タスク間表現学習につながります。
不確実性の観点から 2 つのタスクをより深く理解するために、我々は 2 つのタスクの主な不確実性、すなわちタスクの不確実性 (SOD の場合) とデータの不確実性 (COD の場合) をモデル化するための不確実性推定手法を広範囲に調査し、効果的に推定することを目指しています。
課題ごとに挑戦的な領域を設定し、困難を意識した学習を実現します。
ベンチマーク データセットの実験結果は、私たちのソリューションが最先端のパフォーマンスと有益な不確実性推定の両方につながることを示しています。

要約(オリジナル)

Salient objects attract human attention and usually stand out clearly from their surroundings. In contrast, camouflaged objects share similar colors or textures with the environment. In this case, salient objects are typically non-camouflaged, and camouflaged objects are usually not salient. Due to this inherent contradictory attribute, we introduce an uncertainty-aware learning pipeline to extensively explore the contradictory information of salient object detection (SOD) and camouflaged object detection (COD) via data-level and task-wise contradiction modeling. We first exploit the dataset correlation of these two tasks and claim that the easy samples in the COD dataset can serve as hard samples for SOD to improve the robustness of the SOD model. Based on the assumption that these two models should lead to activation maps highlighting different regions of the same input image, we further introduce a contrastive module with a joint-task contrastive learning framework to explicitly model the contradictory attributes of these two tasks. Different from conventional intra-task contrastive learning for unsupervised representation learning, our contrastive module is designed to model the task-wise correlation, leading to cross-task representation learning. To better understand the two tasks from the perspective of uncertainty, we extensively investigate the uncertainty estimation techniques for modeling the main uncertainties of the two tasks, namely task uncertainty (for SOD) and data uncertainty (for COD), and aiming to effectively estimate the challenging regions for each task to achieve difficulty-aware learning. Experimental results on benchmark datasets demonstrate that our solution leads to both state-of-the-art performance and informative uncertainty estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google