Argumentative Large Language Models for Explainable and Contestable Decision-Making

要約

大規模言語モデル（LLM）には多様な知識がコード化されており、この知識をさまざまな場面でゼロから適用できることから、意思決定への応用が期待されている。しかし、現在のところ、LLMは、説明可能で争点となるような出力を確実に提供することができないため、制限されている。本論文では、LLMを議論的推論で補完する方法を導入することで、これらの長所と短所の調和を試みる。具体的には、論証的LLMを導入し、LLMを活用して論証フレームワークを構築し、意思決定における形式的推論の基礎とする。これらの議論フレームワークと形式的推論の解釈可能な性質は、補完されたLLMによってなされたいかなる意思決定も、人間に自然に説明でき、また人間によって争われる可能性があることを意味する。我々は、主張検証という意思決定タスクにおいて、議論型LLMの有効性を実験的に実証した。その結果、同等の最先端技術と遜色なく、場合によってはそれを凌駕する結果を得た。

要約(オリジナル)

The diversity of knowledge encoded in large language models (LLMs) and their ability to apply this knowledge zero-shot in a range of settings makes them a promising candidate for use in decision-making. However, they are currently limited by their inability to reliably provide outputs which are explainable and contestable. In this paper, we attempt to reconcile these strengths and weaknesses by introducing a method for supplementing LLMs with argumentative reasoning. Concretely, we introduce argumentative LLMs, a method utilising LLMs to construct argumentation frameworks, which then serve as the basis for formal reasoning in decision-making. The interpretable nature of these argumentation frameworks and formal reasoning means that any decision made by the supplemented LLM may be naturally explained to, and contested by, humans. We demonstrate the effectiveness of argumentative LLMs experimentally in the decision-making task of claim verification. We obtain results that are competitive with, and in some cases surpass, comparable state-of-the-art techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL