DISCO: Distilling Phrasal Counterfactuals with Large Language Models

要約

反事実的に拡張されたデータでトレーニングされたモデルは、タスクの因果構造の表現を学習し、堅牢な一般化を可能にします。
ただし、ほとんどのタスクでは高品質の反事実データが不足しており、大規模に生成するのは容易ではありません。
クラウドソーシングの場合、そのようなデータは通常、規模と多様性が制限されます。
教師ありメソッドを使用して生成された場合、新しい反事実の次元に拡張するには計算コストがかかります。
この研究では、高品質の反事実データを大規模に自動的に生成する新しい方法である DISCO (DIStilled COunterfactual Data) を紹介します。
DISCO のエンジニアは、大規模な一般言語モデルを使用して語句の摂動を生成するよう促します。
次に、タスク固有の教師モデルがこれらの世代をフィルタリングして、高品質の反事実データを抽出します。
タスクに依存しない一方で、パイプラインを自然言語推論 (NLI) のタスクに適用したところ、NLI ストレス テストなどの困難な評価では、DISCO で生成された反事実でトレーニングされた比較的小規模な学生モデルの方がより堅牢 (6% 絶対) であることがわかりました。
データ拡張なしでトレーニングされたモデルと比較して、分布全体での一般化が向上しました (2%)。
さらに、DISCO 拡張モデルは 3 つの評価セット上の反事実ペア間の一貫性が 10% 高く、DISCO 拡張によりモデルが因果表現をより確実に学習できることが実証されました。
私たちのリポジトリは、https://github.com/eric11eca/disco から入手できます。

要約(オリジナル)

Models trained with counterfactually augmented data learn representations of the causal structure of tasks, enabling robust generalization. However, high-quality counterfactual data is scarce for most tasks and not easily generated at scale. When crowdsourced, such data is typically limited in scale and diversity; when generated using supervised methods, it is computationally expensive to extend to new counterfactual dimensions. In this work, we introduce DISCO (DIStilled COunterfactual Data), a new method for automatically generating high quality counterfactual data at scale. DISCO engineers prompts to generate phrasal perturbations with a large general language model. Then, a task-specific teacher model filters these generations to distill high-quality counterfactual data. While task-agnostic, we apply our pipeline to the task of natural language inference (NLI) and find that on challenging evaluations such as the NLI stress test, comparatively smaller student models trained with DISCO generated counterfactuals are more robust (6% absolute) and generalize better across distributions (2%) compared to models trained without data augmentation. Furthermore, DISCO augmented models are 10% more consistent between counterfactual pairs on three evaluation sets, demonstrating that DISCO augmentation enables models to more reliably learn causal representations. Our repository is available at: https://github.com/eric11eca/disco

arxiv情報

提供元, 利用サービス

arxiv.jp, Google