Heterogeneous Face Recognition Using Domain Invariant Units

要約

異種顔認識 (HFR) は、顔認識 (FR) システムの適用可能性を困難なシナリオに拡張し、熱画像と可視スペクトルの照合など、さまざまな領域にわたる顔画像の照合を可能にすることを目的としています。
しかし、HFR システムの開発は、モダリティ間に大きなドメインギャップがあり、大規模なペアのマルチチャネルデータが利用できないため、困難を伴います。
この研究では、事前トレーニング済みの顔認識モデルを教師ネットワークとして活用し、ドメイン インバリアント ユニット (DIU) と呼ばれるドメイン不変ネットワーク層を学習して、ドメイン ギャップを削減します。
提案された DIU は、対比蒸留フレームワークで、限られた量のペアのトレーニング データでも効果的にトレーニングできます。
この提案されたアプローチは、事前トレーニングされたモデルを強化し、データのより広範囲の変動に適応できるようにする可能性があります。
当社は複数の困難なベンチマークで当社のアプローチを広範囲に評価し、最先端の手法と比較して優れたパフォーマンスを実証しています。

要約(オリジナル)

Heterogeneous Face Recognition (HFR) aims to expand the applicability of Face Recognition (FR) systems to challenging scenarios, enabling the matching of face images across different domains, such as matching thermal images to visible spectra. However, the development of HFR systems is challenging because of the significant domain gap between modalities and the lack of availability of large-scale paired multi-channel data. In this work, we leverage a pretrained face recognition model as a teacher network to learn domaininvariant network layers called Domain-Invariant Units (DIU) to reduce the domain gap. The proposed DIU can be trained effectively even with a limited amount of paired training data, in a contrastive distillation framework. This proposed approach has the potential to enhance pretrained models, making them more adaptable to a wider range of variations in data. We extensively evaluate our approach on multiple challenging benchmarks, demonstrating superior performance compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google