Video Manipulations Beyond Faces: A Dataset with Human-Machine Analysis

要約

コンテンツ編集用のツールが成熟し、メディアを合成するための人工知能（AI）ベースのアルゴリズムが成長するにつれて、オンラインメディア全体で操作されたコンテンツの存在が増加しています。
この現象は誤った情報の拡散を引き起こし、「実際の」コンテンツと「操作された」コンテンツを区別する必要性が高まります。
この目的のために、826本のビデオ（実際の413本と操作された413本）で構成されるデータセットであるVideoShamを紹介します。
既存のディープフェイクデータセットの多くは、2種類の顔の操作にのみ焦点を当てています。つまり、別の被験者の顔と交換するか、既存の顔を変更します。
一方、VideoShamには、6つの異なる空間的および時間的攻撃の組み合わせを使用して操作される、より多様で、コンテキストが豊富で、人間中心の高解像度ビデオが含まれています。
私たちの分析によると、最先端の操作検出アルゴリズムは、いくつかの特定の攻撃に対してのみ機能し、VideoShamでは適切に拡張されません。
私たちは、1200人の参加者を対象にAmazon Mechanical Turkでユーザー調査を実施し、VideoShamで実際のビデオと操作されたビデオを区別できるかどうかを理解しました。
最後に、人間とSOTAアルゴリズムによるパフォーマンスの長所と短所を深く掘り下げて、より優れたAIアルゴリズムで埋める必要のあるギャップを特定します。

要約(オリジナル)

As tools for content editing mature, and artificial intelligence (AI) based algorithms for synthesizing media grow, the presence of manipulated content across online media is increasing. This phenomenon causes the spread of misinformation, creating a greater need to distinguish between ‘real’ and ‘manipulated’ content. To this end, we present VideoSham, a dataset consisting of 826 videos (413 real and 413 manipulated). Many of the existing deepfake datasets focus exclusively on two types of facial manipulations — swapping with a different subject’s face or altering the existing face. VideoSham, on the other hand, contains more diverse, context-rich, and human-centric, high-resolution videos manipulated using a combination of 6 different spatial and temporal attacks. Our analysis shows that state-of-the-art manipulation detection algorithms only work for a few specific attacks and do not scale well on VideoSham. We performed a user study on Amazon Mechanical Turk with 1200 participants to understand if they can differentiate between the real and manipulated videos in VideoSham. Finally, we dig deeper into the strengths and weaknesses of performances by humans and SOTA-algorithms to identify gaps that need to be filled with better AI algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google