PETALface: Parameter Efficient Transfer Learning for Low-resolution Face Recognition

要約

大規模なデータセットでの事前トレーニングとマージンベースの損失関数の利用は、高解像度の顔認識用モデルのトレーニングに大きな成功を収めています。
ただし、これらのモデルは、さまざまな顔を区別するために必要な顔の属性が顔に欠けているため、低解像度の顔データセットに対処するのが困難です。
低解像度のデータセットに対する完全な微調整は、モデルを適応させるための単純な方法ですが、事前にトレーニングされた知識を壊滅的に忘れてしまうため、パフォーマンスが低下します。
さらに、低解像度データセットにおける高解像度 (HR) ギャラリー画像と低解像度 (LR) プローブ画像の領域の違いにより、微調整後に単一モデルがギャラリーとプローブの両方に適応するための収束が低下します。
この目的を達成するために、我々は、低解像度の顔認識のためのパラメータ効率的な転移学習アプローチである PETALface を提案します。
PETALface を通じて、上記の両方の問題の解決を試みます。
(1) パラメータ効率的微調整 (PEFT) の力を活用することで、壊滅的な忘却を解決します。
(2) ギャラリー画像とプローブ画像の品質の違いを考慮して、入力画像品質に基づいて重みを調整した 2 つの低ランク適応モジュールをバックボーンに導入します。
私たちの知る限り、PETALface は、低解像度の顔認識に PEFT の機能を活用した最初の作品です。
広範な実験により、提案された方法は、パラメータの 0.48% のみを使用しながら、高解像度および混合品質のデータセットでのパフォーマンスを維持しながら、低解像度のデータセットでの完全な微調整よりも優れたパフォーマンスを発揮することが実証されています。
コード: https://kartik-3004.github.io/PETALface/

要約(オリジナル)

Pre-training on large-scale datasets and utilizing margin-based loss functions have been highly successful in training models for high-resolution face recognition. However, these models struggle with low-resolution face datasets, in which the faces lack the facial attributes necessary for distinguishing different faces. Full fine-tuning on low-resolution datasets, a naive method for adapting the model, yields inferior performance due to catastrophic forgetting of pre-trained knowledge. Additionally the domain difference between high-resolution (HR) gallery images and low-resolution (LR) probe images in low resolution datasets leads to poor convergence for a single model to adapt to both gallery and probe after fine-tuning. To this end, we propose PETALface, a Parameter-Efficient Transfer Learning approach for low-resolution face recognition. Through PETALface, we attempt to solve both the aforementioned problems. (1) We solve catastrophic forgetting by leveraging the power of parameter efficient fine-tuning(PEFT). (2) We introduce two low-rank adaptation modules to the backbone, with weights adjusted based on the input image quality to account for the difference in quality for the gallery and probe images. To the best of our knowledge, PETALface is the first work leveraging the powers of PEFT for low resolution face recognition. Extensive experiments demonstrate that the proposed method outperforms full fine-tuning on low-resolution datasets while preserving performance on high-resolution and mixed-quality datasets, all while using only 0.48% of the parameters. Code: https://kartik-3004.github.io/PETALface/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google