Generalize Your Face Forgery Detectors: An Insertable Adaptation Module Is All You Need

要約

顔ディープフェイクのリスクに対処するために、顔偽造検出器が多数存在します。
しかし、それらの実際の適用は、訓練段階では見られなかった偽造に一般化するという課題によって妨げられています。
この目的を達成するために、アーキテクチャやトレーニング プロセスを変更することなく、オンラインのラベルなしテスト データのみを使用して、トレーニング済みの既製の検出器を適応させることができる挿入可能な適応モジュールを導入します。
具体的には、まず、改訂された機能とプロトタイプから予測を生成する学習可能なクラス プロトタイプ ベースの分類器を提示します。これにより、オンライン テスト中にさまざまな偽造の手がかりやドメイン ギャップを効果的に処理できるようになります。
さらに、予測精度をさらに向上させ、自己トレーニング中のノイズの多い疑似ラベルの影響を軽減するために、最近接特徴キャリブレーターを提案します。
複数のデータセットにわたる実験により、私たちのモジュールが最先端の方法と比較して優れた一般化を達成していることが示されています。
さらに、さまざまな検出器と組み合わせて全体的なパフォーマンスを向上させることができるプラグアンドプレイ コンポーネントとして機能します。

要約(オリジナル)

A plethora of face forgery detectors exist to tackle facial deepfake risks. However, their practical application is hindered by the challenge of generalizing to forgeries unseen during the training stage. To this end, we introduce an insertable adaptation module that can adapt a trained off-the-shelf detector using only online unlabeled test data, without requiring modifications to the architecture or training process. Specifically, we first present a learnable class prototype-based classifier that generates predictions from the revised features and prototypes, enabling effective handling of various forgery clues and domain gaps during online testing. Additionally, we propose a nearest feature calibrator to further improve prediction accuracy and reduce the impact of noisy pseudo-labels during self-training. Experiments across multiple datasets show that our module achieves superior generalization compared to state-of-the-art methods. Moreover, it functions as a plug-and-play component that can be combined with various detectors to enhance the overall performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google