Assessing Good, Bad and Ugly Arguments Generated by ChatGPT: a New Dataset, its Methodology and Associated Tasks

要約

大規模言語モデル (LLM) の最近の成功により、誤った情報が拡散する可能性についての懸念が生じています。
その結果、そのようなモデルによって生成される「偽の引数」を特定するツールが急務となっています。
これらのツールを作成するには、LLM によって生成されたテキストのサンプルが必要です。
この論文では、OpenAI の LLM である ChatGPT によって作成された議論エッセイから、良い議論、悪い議論、および醜い議論を取得する方法論を紹介します。
次に、さまざまな引数のセットを含む新しいデータセットである ArGPT について説明します。
私たちはデータセットの有効性を評価し、いくつかの議論関連タスクのベースラインを確立します。
最後に、人工的に生成されたデータは人間の議論とよく関連しており、定義されたタスクに合わせてシステムをトレーニングおよびテストするためのツールとして有用であることを示します。

要約(オリジナル)

The recent success of Large Language Models (LLMs) has sparked concerns about their potential to spread misinformation. As a result, there is a pressing need for tools to identify “fake arguments” generated by such models. To create these tools, examples of texts generated by LLMs are needed. This paper introduces a methodology to obtain good, bad and ugly arguments from argumentative essays produced by ChatGPT, OpenAI’s LLM. We then describe a novel dataset containing a set of diverse arguments, ArGPT. We assess the effectiveness of our dataset and establish baselines for several argumentation-related tasks. Finally, we show that the artificially generated data relates well to human argumentation and thus is useful as a tool to train and test systems for the defined tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google