Visible-Infrared Person Re-Identification via Patch-Mixed Cross-Modality Learning

要約

可視赤外線人物再識別 (VI-ReID) は、異なるモダリティから同じ歩行者の画像を取得することを目的としています。ここでの課題は、モダリティの重大な不一致にあります。
モダリティのギャップを軽減するために、最近の方法では、GAN、グレースケーリング、またはミックスアップ戦略によって中間画像を生成します。
ただし、これらのメソッドは余分なノイズを導入する可能性があり、2 つのモダリティ間のセマンティック対応は十分に学習されていません。
この論文では、2つのモダリティからの同じ人物の2つの画像がパッチに分割され、モデル学習のために新しいものにステッチされるパッチ混合クロスモダリティフレームワーク（PMCM）を提案します。
このように、モデルはさまざまなスタイルのパッチを通じて人を認識することを学習し、モダリティのセマンティック対応が直接具現化されます。
柔軟な画像生成戦略により、パッチ混合画像は異なるモダリティ パッチの比率を自由に調整し、モダリティの不均衡の問題をさらに軽減できます。
さらに、モダリティの差異をさらに減らすために、モダリティ間のアイデンティティ センター間の関係が調査され、グローバルからパーツへの制約が導入されて、パーツの特徴の表現学習が正規化されます。
2 つの VI-ReID データセットで、提案された方法で新しい最先端のパフォーマンスを報告します。

要約(オリジナル)

Visible-infrared person re-identification (VI-ReID) aims to retrieve images of the same pedestrian from different modalities, where the challenges lie in the significant modality discrepancy. To alleviate the modality gap, recent methods generate intermediate images by GANs, grayscaling, or mixup strategies. However, these methods could ntroduce extra noise, and the semantic correspondence between the two modalities is not well learned. In this paper, we propose a Patch-Mixed Cross-Modality framework (PMCM), where two images of the same person from two modalities are split into patches and stitched into a new one for model learning. In this way, the modellearns to recognize a person through patches of different styles, and the modality semantic correspondence is directly embodied. With the flexible image generation strategy, the patch-mixed images freely adjust the ratio of different modality patches, which could further alleviate the modality imbalance problem. In addition, the relationship between identity centers among modalities is explored to further reduce the modality variance, and the global-to-part constraint is introduced to regularize representation learning of part features. On two VI-ReID datasets, we report new state-of-the-art performance with the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google