Modality Agnostic Heterogeneous Face Recognition with Switch Style Modulators

要約

異種顔認識 (HFR) システムは、困難なクロスモーダル認証シナリオにおける顔認識の機能を強化することを目的としています。
ただし、ソース モダリティとターゲット モダリティの間に大きなドメイン ギャップがあるため、クロスドメイン マッチングには大きな課題が生じます。
既存の文献は主に、顔モダリティの特定のペアに対する HFR アプローチの開発に焦点を当てており、ソースとターゲットの組み合わせごとにモデルを明示的にトレーニングする必要があります。
この研究では、ターゲット モダリティ ラベルの明示的な知識がなくても、推論中に複数のモダリティを処理できるモダリティに依存しない HFR メソッドをトレーニングするように設計された新しいフレームワークを紹介します。
これは、スイッチ スタイル モジュレーション ブロック (SSMB) と呼ばれる計算効率の高い自動ルーティング メカニズムを実装することによって実現されます。このメカニズムは、ドメイン ギャップを適応的に削減する特徴マップを変換するさまざまなドメイン エキスパート モジュレーターをトレーニングします。
私たちが提案する SSMB は、エンドツーエンドでトレーニングし、事前トレーニングされた顔認識モデルにシームレスに統合して、モダリティに依存しない HFR モデルに変換できます。
私たちは、HFR ベンチマーク データセットの有効性を実証するために広範な評価を実行しました。
ソースコードとプロトコルは公開されます。

要約(オリジナル)

Heterogeneous Face Recognition (HFR) systems aim to enhance the capability of face recognition in challenging cross-modal authentication scenarios. However, the significant domain gap between the source and target modalities poses a considerable challenge for cross-domain matching. Existing literature primarily focuses on developing HFR approaches for specific pairs of face modalities, necessitating the explicit training of models for each source-target combination. In this work, we introduce a novel framework designed to train a modality-agnostic HFR method capable of handling multiple modalities during inference, all without explicit knowledge of the target modality labels. We achieve this by implementing a computationally efficient automatic routing mechanism called Switch Style Modulation Blocks (SSMB) that trains various domain expert modulators which transform the feature maps adaptively reducing the domain gap. Our proposed SSMB can be trained end-to-end and seamlessly integrated into pre-trained face recognition models, transforming them into modality-agnostic HFR models. We have performed extensive evaluations on HFR benchmark datasets to demonstrate its effectiveness. The source code and protocols will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google