Generating Unsupervised Abstractive Explanations for Rumour Verification

要約

ソーシャルメディアにおける噂検証のタスクは、そこから生じる会話スレッドに基づいて主張の真実性を評価することに関係します。
これまでの研究は真実性ラベルの予測に焦点を当てていましたが、ここでは、噂の真実性に関するモデル中心のフリーテキスト説明を生成するタスクを再定式化します。
私たちは教師なしアプローチに従い、最初に事後説明手法を利用してスレッド内の最も重要な投稿をスコアリングし、次にこれらの投稿を使用して、テンプレートに基づく要約を採用して有益な説明要約を生成します。
説明の要約の有益性を評価するために、大規模言語モデル (LLM) の少数ショット学習機能を活用します。
私たちの実験では、LLM が概要を評価する際に人間と同様の同意を得ることができることが示されています。
重要なのは、単にスレッド内で最高ランクの投稿を使用するよりも、説明的な抽象的な要約の方が有益であり、予測された噂の真実性をよりよく反映していることを示しています。

要約(オリジナル)

The task of rumour verification in social media concerns assessing the veracity of a claim on the basis of conversation threads that result from it. While previous work has focused on predicting a veracity label, here we reformulate the task to generate model-centric, free-text explanations of a rumour’s veracity. We follow an unsupervised approach by first utilising post-hoc explainability methods to score the most important posts within a thread and then we use these posts to generate informative explanatory summaries by employing template-guided summarisation. To evaluate the informativeness of the explanatory summaries, we exploit the few-shot learning capabilities of a large language model (LLM). Our experiments show that LLMs can have similar agreement to humans in evaluating summaries. Importantly, we show that explanatory abstractive summaries are more informative and better reflect the predicted rumour veracity than just using the highest ranking posts in the thread.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google