Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition

要約

誤謬を認識することは、さまざまな領域にわたる議論の質と妥当性を確保するために非常に重要です。
ただし、計算上の誤謬の認識は、データセットで見つかる誤謬のジャンル、領域、タイプが多様であるため、課題に直面しています。
これにより、大幅なクラスの不均衡を伴う、高度にマルチクラス、さらにはマルチラベルのセットアップが発生します。
この研究では、追加のコンテキストを組み込み、大規模な言語モデルを活用して合成データを生成することで、誤謬認識の既存のモデルを強化し、頻度の低いクラスの表現を増やすことを目的としています。
GPT3.5 を試して合成サンプルを生成し、これに対するプロンプト設定の影響を調べます。
さらに、ゼロショットおよび少数ショットのシナリオを調査して、統一された誤謬認識フレームワーク内で小規模なモデルをトレーニングするために生成されたサンプルを使用する有効性を評価します。
さらに、合成データと既存の誤ったデータセットの間の重複を分析します。
最後に、転用誤謬など、そのようなコンテキストを必要とする誤謬タイプを検出するために補足的なコンテキストを提供することの有用性を調査します。
私たちの評価結果は、誤りのタイプ、データセット、ジェネレーター全体にわたって一貫した改善を示しています。
コードと合成データセットはすべて公開されています。

要約(オリジナル)

Recognizing fallacies is crucial for ensuring the quality and validity of arguments across various domains. However, computational fallacy recognition faces challenges due to the diverse genres, domains, and types of fallacies found in datasets. This leads to a highly multi-class, and even multi-label, setup with substantial class imbalance. In this study, we aim to enhance existing models for fallacy recognition by incorporating additional context and by leveraging large language models to generate synthetic data, thus increasing the representation of the infrequent classes. We experiment with GPT3.5 to generate synthetic examples and we examine the impact of prompt settings for this. Moreover, we explore zero-shot and few-shot scenarios to evaluate the effectiveness of using the generated examples for training smaller models within a unified fallacy recognition framework. Furthermore, we analyze the overlap between the synthetic data and existing fallacy datasets. Finally, we investigate the usefulness of providing supplementary context for detecting fallacy types that need such context, e.g., diversion fallacies. Our evaluation results demonstrate consistent improvements across fallacy types, datasets, and generators. The code and the synthetic datasets are all publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google