Argumentative Large Language Models for Explainable and Contestable Claim Verification

要約

大規模な言語モデル（LLM）でエンコードされた知識の豊富さと、この知識をさまざまな設定で適用する能力により、意思決定に使用する候補者が有望になります。
ただし、現在、間違いを修正するために忠実に説明し、効果的に争われる可能性のある出力を提供できないことによって制限されています。
この論文では、論争の推論でLLMを強化する方法である\ emph {armocative llms（argllms）}を導入することにより、これらの長所と短所を調整しようとします。
具体的には、Argllmsは議論のフレームワークを構築します。これは、意思決定をサポートする正式な推論の基礎として機能します。
これらの議論のフレームワークの解釈可能な性質と正式な推論は、Argllmsによって下された決定が説明され、争われる可能性があることを意味します。
請求検証の意思決定タスクの文脈で、最先端のテクニックと比較して、Argllmsのパフォーマンスを実験的に評価します。
また、これらの特性の観点から、争い性を特徴付け、Argllmsを正式に評価するための新しい特性を定義します。

要約(オリジナル)

The profusion of knowledge encoded in large language models (LLMs) and their ability to apply this knowledge zero-shot in a range of settings makes them promising candidates for use in decision-making. However, they are currently limited by their inability to provide outputs which can be faithfully explained and effectively contested to correct mistakes. In this paper, we attempt to reconcile these strengths and weaknesses by introducing \emph{argumentative LLMs (ArgLLMs)}, a method for augmenting LLMs with argumentative reasoning. Concretely, ArgLLMs construct argumentation frameworks, which then serve as the basis for formal reasoning in support of decision-making. The interpretable nature of these argumentation frameworks and formal reasoning means that any decision made by ArgLLMs may be explained and contested. We evaluate ArgLLMs’ performance experimentally in comparison with state-of-the-art techniques, in the context of the decision-making task of claim verification. We also define novel properties to characterise contestability and assess ArgLLMs formally in terms of these properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google