From Modalities to Styles: Rethinking the Domain Gap in Heterogeneous Face Recognition

要約

異種顔認識 (HFR) は、熱画像から可視画像など、さまざまな領域の顔を照合することに焦点を当てており、顔認識 (FR) システムの汎用性を高め、困難なシナリオに対応します。
ただし、これらのドメインとターゲット HFR モダリティにおける限られた大規模データセットとの間のドメイン ギャップにより、堅牢な HFR モデルを最初から開発することが困難になります。
私たちの研究では、さまざまなモダリティを個別のスタイルと見なし、ドメインギャップに対処するためにターゲットモダリティの特徴マップを調整する方法を提案します。
既存の FR ネットワークにシームレスに適合し、HFR 対応システムに変える新しい条件付き適応インスタンス変調 (CAIM) モジュールを紹介します。
CAIM ブロックは中間特徴マップを変調し、ソース モダリティのスタイルに効率的に適応し、ドメイン ギャップを橋渡しします。
私たちの方法では、ペアになったサンプルの小さなセットを使用したエンドツーエンドのトレーニングが可能になります。
私たちは、提案されたアプローチをさまざまな困難な HFR ベンチマークで広範囲に評価し、それが最先端の方法よりも優れていることを示しています。
発見結果を再現するためのソースコードとプロトコルは公開されます。

要約(オリジナル)

Heterogeneous Face Recognition (HFR) focuses on matching faces from different domains, for instance, thermal to visible images, making Face Recognition (FR) systems more versatile for challenging scenarios. However, the domain gap between these domains and the limited large-scale datasets in the target HFR modalities make it challenging to develop robust HFR models from scratch. In our work, we view different modalities as distinct styles and propose a method to modulate feature maps of the target modality to address the domain gap. We present a new Conditional Adaptive Instance Modulation (CAIM ) module that seamlessly fits into existing FR networks, turning them into HFR-ready systems. The CAIM block modulates intermediate feature maps, efficiently adapting to the style of the source modality and bridging the domain gap. Our method enables end-to-end training using a small set of paired samples. We extensively evaluate the proposed approach on various challenging HFR benchmarks, showing that it outperforms state-of-the-art methods. The source code and protocols for reproducing the findings will be made publicly available

arxiv情報

提供元, 利用サービス

arxiv.jp, Google