Zero-shot LLM-guided Counterfactual Generation for Text

要約

反事実の例は、多くの自然言語処理 (NLP) タスクにおけるモデルの開発と評価に頻繁に使用されます。
反事実を自動生成する方法が検討されていますが、そのような方法は、事前にトレーニングされた言語モデルなどのモデルに依存しており、その後、補助的な、多くの場合タスク固有のデータセットで微調整されます。
反事実を生成するためにそのようなデータセットを収集して注釈を付けることは労働集約的であるため、実際には実行不可能です。
したがって、この研究では、\textit{ゼロショット反事実生成}という新しい問題設定に焦点を当てます。
この目的を達成するために、私たちは大規模言語モデル (LLM) を汎用の反事実例ジェネレーターとして利用する構造化された方法を提案します。
私たちは、最近の LLM の指示追従機能とテキスト理解機能を効果的に活用して、トレーニングや微調整を必要とせずに、高品質の反事実をゼロショットで生成できるのではないかと仮説を立てています。
自然言語処理 (NLP) におけるさまざまな下流タスクに関する包括的な実験を通じて、ブラックボックス NLP モデルの評価と説明におけるゼロショット反事実生成器としての LLM の有効性を実証します。

要約(オリジナル)

Counterfactual examples are frequently used for model development and evaluation in many natural language processing (NLP) tasks. Although methods for automated counterfactual generation have been explored, such methods depend on models such as pre-trained language models that are then fine-tuned on auxiliary, often task-specific datasets. Collecting and annotating such datasets for counterfactual generation is labor intensive and therefore, infeasible in practice. Therefore, in this work, we focus on a novel problem setting: \textit{zero-shot counterfactual generation}. To this end, we propose a structured way to utilize large language models (LLMs) as general purpose counterfactual example generators. We hypothesize that the instruction-following and textual understanding capabilities of recent LLMs can be effectively leveraged for generating high quality counterfactuals in a zero-shot manner, without requiring any training or fine-tuning. Through comprehensive experiments on various downstream tasks in natural language processing (NLP), we demonstrate the efficacy of LLMs as zero-shot counterfactual generators in evaluating and explaining black-box NLP models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google