CONDA: Condensed Deep Association Learning for Co-Salient Object Detection

要約

画像間の関連モデリングは、共顕著オブジェクトの検出に不可欠です。
満足のいく性能にもかかわらず、従来の方法では、画像間の関連モデリングを十分に行うには依然として限界がありました。
なぜなら、それらのほとんどは、ヒューリスティックに計算された生の画像間の関連性の指導の下での画像特徴の最適化に焦点を当てているからです。
これらは、複雑なシナリオでは信頼できない生の関連付けに直接依存しており、画像特徴の最適化アプローチは画像間の関連付けモデリングに対して明示的ではありません。
これらの制限を軽減するために、この論文では、生の関連付けに深いネットワークを展開して、それらを深い関連付けの特徴に明示的に変換する、深い関連付けの学習戦略を提案します。
具体的には、まずハイパーアソシエーションを作成して高密度のピクセルペアごとの生の関連付けを収集し、次にそれらに深い集約ネットワークを展開します。
この目的のために、ハイパーアソシエーション計算をさらに強化したプログレッシブ アソシエーション生成モジュールを設計します。
さらに重要なことは、計算負荷の軽減とノイズ除去のためにハイパーアソシエーションを圧縮するために、口実タスク、つまり意味論的対応推定を導入する対応誘導関連圧縮モジュールを提案することです。
また、高品質の対応推定のためのオブジェクト認識サイクル一貫性損失も設計します。
3 つのベンチマーク データセットでの実験結果は、さまざまなトレーニング設定での提案手法の顕著な有効性を示しています。

要約(オリジナル)

Inter-image association modeling is crucial for co-salient object detection. Despite satisfactory performance, previous methods still have limitations on sufficient inter-image association modeling. Because most of them focus on image feature optimization under the guidance of heuristically calculated raw inter-image associations. They directly rely on raw associations which are not reliable in complex scenarios, and their image feature optimization approach is not explicit for inter-image association modeling. To alleviate these limitations, this paper proposes a deep association learning strategy that deploys deep networks on raw associations to explicitly transform them into deep association features. Specifically, we first create hyperassociations to collect dense pixel-pair-wise raw associations and then deploys deep aggregation networks on them. We design a progressive association generation module for this purpose with additional enhancement of the hyperassociation calculation. More importantly, we propose a correspondence-induced association condensation module that introduces a pretext task, i.e. semantic correspondence estimation, to condense the hyperassociations for computational burden reduction and noise elimination. We also design an object-aware cycle consistency loss for high-quality correspondence estimations. Experimental results in three benchmark datasets demonstrate the remarkable effectiveness of our proposed method with various training settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google