LookupForensics: A Large-Scale Multi-Task Dataset for Multi-Phase Image-Based Fact Verification

要約

偽造画像の急増、特にディープフェイクコンテンツの津波の中で、偽造技術の継続的な進歩に直面して、人工知能（AI）を使用して偽造コンテンツを特定することについて広範な研究が行われてきました。
私たちは、ディープフェイク検出後にオリジナルの本物の画像を提供するための AI の使用を調査しました。これは信頼性があり説得力のあるソリューションであると考えています。
私たちはこれを「画像ベースの自動事実確認」と呼んでいますが、この名前はジャーナリストが使用するテキストベースの事実確認システムに由来しています。
私たちは、検出コンポーネントと検索コンポーネントを統合する 2 フェーズのオープン フレームワークを開発しました。
さらに、Meta Fundamental AI Research によって提案されたデータセットに触発されて、このタスク用に特別に設計された大規模なデータセットをさらに構築しました。
このデータセットは現実世界の状況をシミュレートしており、さまざまな難易度を提示するコンテンツ保存操作とコンテンツ認識操作の両方が含まれており、進行中の研究の可能性があります。
このマルチタスク データセットには完全に注釈が付けられており、偽造識別および事実検索ドメイン内のサブタスクに利用できるようになります。
この論文は主に 2 つの貢献を行っています: (1) 新しいタスク「画像ベースの自動事実検証」を導入し、「偽造識別」と「事実検索」を組み合わせた新しい 2 フェーズのオープン フレームワークを提示します。
(2) この新しいタスクに合わせて調整された大規模なデータセットを提示します。このデータセットは、さまざまな手作りの画像編集と機械学習による操作を特徴とし、さまざまなサブタスクに適した広範な注釈を備えています。
広範な実験結果により、事実検証研究の実用性が検証され、さまざまなサブタスクの難易度が明確になります。

要約(オリジナル)

Amid the proliferation of forged images, notably the tsunami of deepfake content, extensive research has been conducted on using artificial intelligence (AI) to identify forged content in the face of continuing advancements in counterfeiting technologies. We have investigated the use of AI to provide the original authentic image after deepfake detection, which we believe is a reliable and persuasive solution. We call this ‘image-based automated fact verification,’ a name that originated from a text-based fact-checking system used by journalists. We have developed a two-phase open framework that integrates detection and retrieval components. Additionally, inspired by a dataset proposed by Meta Fundamental AI Research, we further constructed a large-scale dataset that is specifically designed for this task. This dataset simulates real-world conditions and includes both content-preserving and content-aware manipulations that present a range of difficulty levels and have potential for ongoing research. This multi-task dataset is fully annotated, enabling it to be utilized for sub-tasks within the forgery identification and fact retrieval domains. This paper makes two main contributions: (1) We introduce a new task, ‘image-based automated fact verification,’ and present a novel two-phase open framework combining ‘forgery identification’ and ‘fact retrieval.’ (2) We present a large-scale dataset tailored for this new task that features various hand-crafted image edits and machine learning-driven manipulations, with extensive annotations suitable for various sub-tasks. Extensive experimental results validate its practicality for fact verification research and clarify its difficulty levels for various sub-tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google