Exploring Homogeneous and Heterogeneous Consistent Label Associations for Unsupervised Visible-Infrared Person ReID

要約

教師なし可視赤外線人物再識別 (USL-VI-ReID) は、同じ身元の歩行者画像を異なるモダリティから注釈なしで取得することを目的としています。
これまでの研究は、モダリティギャップを埋めるためにクロスモダリティ擬似ラベル関連付けを確立することに焦点を当てていましたが、擬似ラベル空間におけるインスタンスレベルの同種および異種一貫性の維持は無視されており、その結果、粗い関連付けが生じています。
これに応えて、同種および異種の両方のきめの細かいインスタンス レベル構造を同時に考慮し、高品質のクロスモダリティ ラベル関連付けを実現する Modality-Unified Label Transfer (MULT) モジュールを導入します。
同種のアフィニティと異種のアフィニティの両方をモデル化し、それらを利用して擬似ラベルの不一致を定義してそれを最小限に抑え、モダリティ間の整合性とモダリティ内構造内の一貫性を維持する擬似ラベルを生成します。
さらに、モダリティ不変表現学習 (MIRL) フレームワークと組み合わせて、同時にさまざまなモダリティを調整しながら、ノイズの多い疑似ラベルの影響をさらに軽減する、簡単なプラグ アンド プレイのオンライン クロスメモリ ラベル洗練 (OCLR) モジュールが提案されています。
実験により、私たちの提案した方法が既存のUSL-VI-ReID方法よりも優れていることが実証され、他のクロスモダリティ関連付け方法と比較した場合のMULTの優位性が強調されます。
コードが利用可能になります。

要約(オリジナル)

Unsupervised visible-infrared person re-identification (USL-VI-ReID) aims to retrieve pedestrian images of the same identity from different modalities without annotations. While prior work focuses on establishing cross-modality pseudo-label associations to bridge the modality-gap, they ignore maintaining the instance-level homogeneous and heterogeneous consistency in pseudo-label space, resulting in coarse associations. In response, we introduce a Modality-Unified Label Transfer (MULT) module that simultaneously accounts for both homogeneous and heterogeneous fine-grained instance-level structures, yielding high-quality cross-modality label associations. It models both homogeneous and heterogeneous affinities, leveraging them to define the inconsistency for the pseudo-labels and then minimize it, leading to pseudo-labels that maintain alignment across modalities and consistency within intra-modality structures. Additionally, a straightforward plug-and-play Online Cross-memory Label Refinement (OCLR) module is proposed to further mitigate the impact of noisy pseudo-labels while simultaneously aligning different modalities, coupled with a Modality-Invariant Representation Learning (MIRL) framework. Experiments demonstrate that our proposed method outperforms existing USL-VI-ReID methods, highlighting the superiority of our MULT in comparison to other cross-modality association methods. The code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google