Deep Intra-Image Contrastive Learning for Weakly Supervised One-Step Person Search

要約

弱い教師あり人物検索は、人物バウンディング ボックス アノテーションのみを使用して、歩行者の検出と再識別 (re-id) を組み合わせて実行することを目的としています。
最近、対照学習のアイデアは、最初は弱教師付き人物検索に適用されました。この場合、2 つの一般的な対照戦略は、記憶ベースの対照と画像内対照です。
現在の画像内コントラストは浅く、空間レベルとオクルージョンレベルの分散に苦しんでいると主張します。
この論文では、シャムネットワークを使用した新しい深い画像内コントラスト学習を紹介します。
2 つの重要なモジュールは、空間不変コントラスト (SIC) とオクルージョン不変コントラスト (OIC) です。
SIC は、シャム ネットワークの 2 つの分岐間で多対 1 の対比を実行し、シャム ネットワークの 1 つの分岐で密な予測対比を実行します。
これらの多対 1 の密なコントラストにより、SIC は識別可能なスケール不変および位置不変の特徴を学習して、空間レベルの分散を解決する傾向があります。
OIC は、マスキング戦略との特徴の一貫性を高め、オクルージョン不変の特徴を学習します。
2 つの人物検索データセット CUHK-SYSU と PRW に対してそれぞれ広範な実験が行われます。
私たちの方法は、教師が弱いワンステップの人物検索アプローチの中で最先端のパフォーマンスを実現します。
私たちの単純な画像内対照学習が、教師が弱い人物検索のより多くのパラダイムを提供できることを願っています。
ソース コードは、\url{https://github.com/jiabeiwangTJU/DICL} で入手できます。

要約(オリジナル)

Weakly supervised person search aims to perform joint pedestrian detection and re-identification (re-id) with only person bounding-box annotations. Recently, the idea of contrastive learning is initially applied to weakly supervised person search, where two common contrast strategies are memory-based contrast and intra-image contrast. We argue that current intra-image contrast is shallow, which suffers from spatial-level and occlusion-level variance. In this paper, we present a novel deep intra-image contrastive learning using a Siamese network. Two key modules are spatial-invariant contrast (SIC) and occlusion-invariant contrast (OIC). SIC performs many-to-one contrasts between two branches of Siamese network and dense prediction contrasts in one branch of Siamese network. With these many-to-one and dense contrasts, SIC tends to learn discriminative scale-invariant and location-invariant features to solve spatial-level variance. OIC enhances feature consistency with the masking strategy to learn occlusion-invariant features. Extensive experiments are performed on two person search datasets CUHK-SYSU and PRW, respectively. Our method achieves a state-of-the-art performance among weakly supervised one-step person search approaches. We hope that our simple intra-image contrastive learning can provide more paradigms on weakly supervised person search. The source code is available at \url{https://github.com/jiabeiwangTJU/DICL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google