Robust Duality Learning for Unsupervised Visible-Infrared Person Re-Identification

要約

監視されていない可視性のある人の再識別（UVI-reid）は、費用のかかる注釈なしでさまざまなモダリティにわたって歩行者の画像を取得することを目指していますが、モダリティのギャップと監督の欠如のために課題に直面しています。
既存の方法は、しばしばクラスター化された擬似ラベルで自己トレーニングを採用しますが、これらのラベルが常に正しいと暗黙的に仮定します。
しかし、実際には、この仮定は、モデルの学習を妨げる避けられない擬似盲騒音のために失敗します。
これに対処するために、3つの重要な課題、ノイズの過剰適合、エラーの蓄積、ノイズの多いクラスター対応を特徴とする擬似ラベルノイズ（PLN）を明示的に考慮した新しい学習パラダイムを導入します。
この目的のために、UVI-reidが騒々しい擬似ラベルの効果を軽減するための新しい堅牢な二重性学習フレームワーク（Rode）を提案します。
第一に、ノイズの過剰適合と戦うために、騒々しいサンプルを動的に強調するために、堅牢な適応学習メカニズム（RAL）が提案されています。
第二に、エラーの蓄積を緩和するために、モデルがそれ自体の間違いを強化する場所では、視線の類似性を使用して交互にトレーニングされ、多様性を促進し、崩壊を防止するデュアル異なるモデルを採用しています。
ただし、このデュアルモデル戦略は、モデル間のクラスター間の不整合とモダリティをもたらし、騒々しいクラスター対応を生み出します。
これを解決するために、クロスクラスターの類似性を測定することにより、モデルとモダリティ全体のクラスターを揃えるクラスターの一貫性マッチング（CCM）を導入します。
3つのベンチマークでの広範な実験は、Rodeの有効性を示しています。

要約(オリジナル)

Unsupervised visible-infrared person re-identification (UVI-ReID) aims to retrieve pedestrian images across different modalities without costly annotations, but faces challenges due to the modality gap and lack of supervision. Existing methods often adopt self-training with clustering-generated pseudo-labels but implicitly assume these labels are always correct. In practice, however, this assumption fails due to inevitable pseudo-label noise, which hinders model learning. To address this, we introduce a new learning paradigm that explicitly considers Pseudo-Label Noise (PLN), characterized by three key challenges: noise overfitting, error accumulation, and noisy cluster correspondence. To this end, we propose a novel Robust Duality Learning framework (RoDE) for UVI-ReID to mitigate the effects of noisy pseudo-labels. First, to combat noise overfitting, a Robust Adaptive Learning mechanism (RAL) is proposed to dynamically emphasize clean samples while down-weighting noisy ones. Second, to alleviate error accumulation-where the model reinforces its own mistakes-RoDE employs dual distinct models that are alternately trained using pseudo-labels from each other, encouraging diversity and preventing collapse. However, this dual-model strategy introduces misalignment between clusters across models and modalities, creating noisy cluster correspondence. To resolve this, we introduce Cluster Consistency Matching (CCM), which aligns clusters across models and modalities by measuring cross-cluster similarity. Extensive experiments on three benchmarks demonstrate the effectiveness of RoDE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google