Rethinking the Domain Gap in Near-infrared Face Recognition

要約

異種顔認識(HFR)は、可視(VIS)と近赤外(NIR)の視覚領域にわたる顔画像のマッチングという複雑なタスクを含む。HFRに関する既存の文献の多くは、領域ギャップを主要な課題として認識し、入力レベルまたは特徴レベルのいずれかでそのギャップを埋めることに努力を向けているが、我々の研究はこの傾向から逸脱している。我々は、大規模なニューラルネットワークが、小規模なニューラルネットワークとは異なり、大規模で均質なVISデータで事前訓練された場合、HFRにおいて卓越したゼロショット性能を示すことを観察し、ドメインギャップが従来考えられていたよりも顕著でない可能性を示唆する。HFR問題を低データ微調整の1つとしてアプローチすることで、我々は包括的な事前訓練と、それに続く正則化された微調整戦略という簡単なフレームワークを紹介する。対応するコードはhttps://github.com/michaeltrs/RethinkNIRVIS。

要約(オリジナル)

Heterogeneous face recognition (HFR) involves the intricate task of matching face images across the visual domains of visible (VIS) and near-infrared (NIR). While much of the existing literature on HFR identifies the domain gap as a primary challenge and directs efforts towards bridging it at either the input or feature level, our work deviates from this trend. We observe that large neural networks, unlike their smaller counterparts, when pre-trained on large scale homogeneous VIS data, demonstrate exceptional zero-shot performance in HFR, suggesting that the domain gap might be less pronounced than previously believed. By approaching the HFR problem as one of low-data fine-tuning, we introduce a straightforward framework: comprehensive pre-training, succeeded by a regularized fine-tuning strategy, that matches or surpasses the current state-of-the-art on four publicly available benchmarks. Corresponding codes can be found at https://github.com/michaeltrs/RethinkNIRVIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL