Anisotropic multiresolution analyses for deep fake detection

要約

Generative Adversarial Networks (GAN) は、画像、ビデオ、およびオーディオ合成の最前線で、まったく新しいメディア生成機能への道を開きました。
ただし、それらは悪用されたり、巧妙な嘘をでっち上げるために悪用されたりする可能性があり、公の議論をかき立てる可能性があります.
GAN によってもたらされる脅威により、本物のコンテンツと偽造されたコンテンツを区別する必要性が生じています。
以前の研究では、k-nearest neighbors や固有面などの古典的な機械学習手法を使用してこのタスクに取り組んでいましたが、残念ながらあまり効果的ではありませんでした。
その後の方法は、周波数分解、つまり、離散コサイン変換、ウェーブレット、およびウェーブレット パケットを活用して、分類器の入力機能を前処理することに重点を置いています。
ただし、既存のアプローチは等方性変換のみに依存しています。
GANは主に等方性畳み込みを利用して出力を生成するため、異方性変換によって抽出されたサブバンドの係数分布に明確な痕跡、フィンガープリントを残すと主張します。
完全に分離可能なウェーブレット変換とマルチウェーブレットを使用して、標準の CNN 分類器にフィードする異方性特徴を取得します。
最後に、最新技術を改善できる完全に分離可能な変換を見つけます。

要約(オリジナル)

Generative Adversarial Networks (GANs) have paved the path towards entirely new media generation capabilities at the forefront of image, video, and audio synthesis. However, they can also be misused and abused to fabricate elaborate lies, capable of stirring up the public debate. The threat posed by GANs has sparked the need to discern between genuine content and fabricated one. Previous studies have tackled this task by using classical machine learning techniques, such as k-nearest neighbours and eigenfaces, which unfortunately did not prove very effective. Subsequent methods have focused on leveraging on frequency decompositions, i.e., discrete cosine transform, wavelets, and wavelet packets, to preprocess the input features for classifiers. However, existing approaches only rely on isotropic transformations. We argue that, since GANs primarily utilize isotropic convolutions to generate their output, they leave clear traces, their fingerprint, in the coefficient distribution on sub-bands extracted by anisotropic transformations. We employ the fully separable wavelet transform and multiwavelets to obtain the anisotropic features to feed to standard CNN classifiers. Lastly, we find the fully separable transform capable of improving the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google