CORE: Consistent Representation Learning for Face Forgery Detection

要約

顔認識技術は急速に発展しており、多くの人々の関心を集めている。バニラ畳み込みニューラルネットワークは、許容できるパフォーマンスを達成するにもかかわらず、オーバーフィッティングの問題に悩まされている。この問題を解決するために、消去に基づく補強を導入する傾向がある。我々は、これらの方法が、異なる補強画像に同じラベルを割り当てることによって、異なる補強に対してより一貫した表現を暗黙的に誘導しようとすることを発見した。しかし、明示的な正則化の欠如により、異なる表現間の整合性はあまり満足のいくものではない。そこで、我々は異なる表現の一貫性を明示的に制約し、シンプルかつ効果的なフレームワークであるCOnsistent REpresentation Learning (CORE)を提案する。具体的には、まず異なる表現を異なる拡張で捉え、次に表現のコサイン距離を正則化することで整合性を向上させる。データセット内およびデータセットを横断した広範な実験により、COREは最新の顔画像偽造検出手法に対して良好な性能を示すことが実証された。

要約(オリジナル)

Face manipulation techniques develop rapidly and arouse widespread public concerns. Despite that vanilla convolutional neural networks achieve acceptable performance, they suffer from the overfitting issue. To relieve this issue, there is a trend to introduce some erasing-based augmentations. We find that these methods indeed attempt to implicitly induce more consistent representations for different augmentations via assigning the same label for different augmented images. However, due to the lack of explicit regularization, the consistency between different representations is less satisfactory. Therefore, we constrain the consistency of different representations explicitly and propose a simple yet effective framework, COnsistent REpresentation Learning (CORE). Specifically, we first capture the different representations with different augmentations, then regularize the cosine distance of the representations to enhance the consistency. Extensive experiments (in-dataset and cross-dataset) demonstrate that CORE performs favorably against state-of-the-art face forgery detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL