Generating Zero-shot Abstractive Explanations for Rumour Verification

要約

ソーシャルメディアにおける噂検証のタスクは、そこから生じる会話スレッドに基づいて主張の真実性を評価することに関係します。
これまでの研究は真実性ラベルの予測に焦点を当てていましたが、ここでは、噂の真実性に関するモデル中心の自由テキスト説明を生成するタスクを再定式化します。
このアプローチは、あらゆるモデルに一般化されるという点で、モデルに依存しません。
ここでは、新しい GNN ベースの噂検証モデルを提案します。
私たちはゼロショット アプローチに従い、最初に事後説明可能性手法を適用してスレッド内の最も重要な投稿をスコアリングし、次にこれらの投稿を使用して意見に基づく要約を使用して有益な説明を生成します。
説明の要約の有益性を評価するために、大規模言語モデル (LLM) の少数ショット学習機能を活用します。
私たちの実験では、LLM が概要を評価する際に人間と同様の同意を得ることができることが示されています。
重要なのは、単にスレッド内で最高ランクの投稿を使用するよりも、説明的な抽象的な要約の方が有益であり、予測された噂の真実性をよりよく反映していることを示しています。

要約(オリジナル)

The task of rumour verification in social media concerns assessing the veracity of a claim on the basis of conversation threads that result from it. While previous work has focused on predicting a veracity label, here we reformulate the task to generate model-centric free-text explanations of a rumour’s veracity. The approach is model agnostic in that it generalises to any model. Here we propose a novel GNN-based rumour verification model. We follow a zero-shot approach by first applying post-hoc explainability methods to score the most important posts within a thread and then we use these posts to generate informative explanations using opinion-guided summarisation. To evaluate the informativeness of the explanatory summaries, we exploit the few-shot learning capabilities of a large language model (LLM). Our experiments show that LLMs can have similar agreement to humans in evaluating summaries. Importantly, we show explanatory abstractive summaries are more informative and better reflect the predicted rumour veracity than just using the highest ranking posts in the thread.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google