End-to-End Multimodal Fact-Checking and Explanation Generation: A Challenging Dataset and Models

要約

私たちは、エンドツーエンドのマルチモーダルな事実確認と説明の生成を提案します。入力は主張と、記事、画像、ビデオ、ツイートを含む Web ソースの大規模なコレクションであり、目標は主張の真実性を評価することです。
関連する証拠を検索し、真実性のラベル（支持、反論、情報が不十分など）を予測し、推論と判決のプロセスを要約して説明する声明を作成することによって。
この研究をサポートするために、私たちは Mocheg を構築しました。これは、各主張に真実性ラベルと判決文が注釈付けされている 15,601 件の主張と、証拠として合計 33,880 のテキスト段落と 12,112 枚の画像で構成される大規模なデータセットです。
Mocheg でのベースラインのパフォーマンスを確立するために、マルチモーダルな証拠の検索、主張の検証、説明の生成という 3 つのパイプライン化されたサブタスクでいくつかの最先端のニューラル アーキテクチャを実験し、最先端のニューラル アーキテクチャのパフォーマンスが優れていることを実証します。
エンドツーエンドのマルチモーダルな事実確認では満足のいく結果が得られません。
私たちの知る限り、私たちはエンドツーエンドのマルチモーダルなファクトチェックと説明生成のためのベンチマーク データセットとソリューションを構築した最初の企業です。
データセット、ソースコード、モデルのチェックポイントは https://github.com/VT-NLP/Mocheg で入手できます。

要約(オリジナル)

We propose end-to-end multimodal fact-checking and explanation generation, where the input is a claim and a large collection of web sources, including articles, images, videos, and tweets, and the goal is to assess the truthfulness of the claim by retrieving relevant evidence and predicting a truthfulness label (e.g., support, refute or not enough information), and to generate a statement to summarize and explain the reasoning and ruling process. To support this research, we construct Mocheg, a large-scale dataset consisting of 15,601 claims where each claim is annotated with a truthfulness label and a ruling statement, and 33,880 textual paragraphs and 12,112 images in total as evidence. To establish baseline performances on Mocheg, we experiment with several state-of-the-art neural architectures on the three pipelined subtasks: multimodal evidence retrieval, claim verification, and explanation generation, and demonstrate that the performance of the state-of-the-art end-to-end multimodal fact-checking does not provide satisfactory outcomes. To the best of our knowledge, we are the first to build the benchmark dataset and solutions for end-to-end multimodal fact-checking and explanation generation. The dataset, source code and model checkpoints are available at https://github.com/VT-NLP/Mocheg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google