Exploring the Potential of Large Language Models in Computational Argumentation

要約

計算論証は、人工知能、法律、公共政策などのさまざまな分野で不可欠なツールとなっています。
これは、自然言語処理における新たな研究分野であり、ますます注目を集めています。
計算論証の研究には、主に、引数マイニングと引数生成という 2 種類のタスクが含まれます。
大規模な言語モデルはコンテキストを理解し、自然言語を生成する強力な能力を実証しているため、さまざまな計算論証タスクにおける LLM のパフォーマンスを評価することは価値があります。
この研究は、計算論証の領域内でゼロショットおよびフューショット設定の下で、ChatGPT、Flan モデル、LLaMA2 モデルなどの LLM の評価に着手することを目的としています。
私たちは既存のタスクを 6 つの主要カテゴリに整理し、14 のオープンソース データセットの形式を標準化します。
さらに、議論マイニングと議論生成における LLM のエンドツーエンドのパフォーマンスを総合的に評価することを目的とした、反論発言生成に関する新しいベンチマーク データセットを紹介します。
広範な実験により、LLM がこれらのデータセットのほとんどで賞賛に値するパフォーマンスを示し、議論の分野における LLM の能力が実証されたことが示されています。
私たちの分析は、将来の研究活動における計算論証と LLM との統合を評価するための貴重な提案を提供します。

要約(オリジナル)

Computational argumentation has become an essential tool in various fields, including artificial intelligence, law, and public policy. It is an emerging research field in natural language processing that attracts increasing attention. Research on computational argumentation mainly involves two types of tasks: argument mining and argument generation. As large language models have demonstrated strong abilities in understanding context and generating natural language, it is worthwhile to evaluate the performance of LLMs on various computational argumentation tasks. This work aims to embark on an assessment of LLMs, such as ChatGPT, Flan models and LLaMA2 models, under zero-shot and few-shot settings within the realm of computational argumentation. We organize existing tasks into six main categories and standardise the format of fourteen open-sourced datasets. In addition, we present a new benchmark dataset on counter speech generation, that aims to holistically evaluate the end-to-end performance of LLMs on argument mining and argument generation. Extensive experiments show that LLMs exhibit commendable performance across most of these datasets, demonstrating their capabilities in the field of argumentation. Our analysis offers valuable suggestions for evaluating computational argumentation and its integration with LLMs in future research endeavors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google