‘Image, Tell me your story!’ Predicting the original meta-context of visual misinformation

要約

人間のファクトチェッカーを支援するために、研究者たちは視覚的な誤情報検出のための自動化されたアプローチを開発しました。
これらの方法では、画像とそのキャプションの間の不一致を特定することによって、または画像内の偽造を検出することによって、真実性スコアを割り当てます。
しかし、それらは人間の事実確認プロセスの重要な点、つまり画像の元のメタコンテキストを特定することを無視しています。
画像の実際の真実を説明することで、ファクトチェッカーは誤った情報をより適切に検出し、チェックに値するビジュアルコンテンツに注力し、誤った情報が広く拡散する前に対抗メッセージを送り、説明をより説得力のあるものにすることができます。
ここでは、自動画像コンテキスト化のタスクを導入することで、このギャップを埋めます。
私たちは、元のメタコンテキストに関する質問と回答のペアを含む、ファクトチェックされた 1,676 枚の画像のデータセットである 5Pils を作成します。
注釈は、5 つの柱のファクトチェック フレームワークに基づいています。
画像の内容とオープンな Web から取得した証拠テキストを使用して、画像を元のメタコンテキストに根拠付ける最初のベースラインを実装します。
私たちの実験は、検索と推論におけるいくつかの未解決の課題を強調しながら、有望な結果を示しています。
私たちはコードとデータを公開します。

要約(オリジナル)

To assist human fact-checkers, researchers have developed automated approaches for visual misinformation detection. These methods assign veracity scores by identifying inconsistencies between the image and its caption, or by detecting forgeries in the image. However, they neglect a crucial point of the human fact-checking process: identifying the original meta-context of the image. By explaining what is actually true about the image, fact-checkers can better detect misinformation, focus their efforts on check-worthy visual content, engage in counter-messaging before misinformation spreads widely, and make their explanation more convincing. Here, we fill this gap by introducing the task of automated image contextualization. We create 5Pils, a dataset of 1,676 fact-checked images with question-answer pairs about their original meta-context. Annotations are based on the 5 Pillars fact-checking framework. We implement a first baseline that grounds the image in its original meta-context using the content of the image and textual evidence retrieved from the open web. Our experiments show promising results while highlighting several open challenges in retrieval and reasoning. We make our code and data publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google