ZARA: Improving Few-Shot Self-Rationalization for Small Language Models

要約

言語モデル(LM)は、タスク終了時の回答とフリーテキストの理由付けを同時に生成するモデルであり、自己合理化モデルと呼ばれる。最近の研究では、LMに合理性を強調した模範解答を数回提示することで、自己合理化の性能が大きく向上することが示されている。しかし、説明の恩恵を受ける能力は、アクセシビリティの低い大規模なLMでのみ出現する。本研究では、小規模なLMの説明を活用することで、数発の自己合理化を改善するという、あまり研究されていない設定を探索する。まず、根拠と答えの関係を再検討する。人間がどのように説明を評価するかという暗黙の精神的プロセスに触発され、妥当性判断の問題を自然言語推論に還元することにより、自己訓練用の疑似並列データを自動的に構築する新しいアプローチ、Zero-shot Augmentation of Rationale-Answer pairs (ZARA) を発表した。実験の結果、ZARAはFEBベンチマークにおいて、タスクの正確さと説明の指標の両方でSOTA性能を達成することができた。さらに、ZARAが自動的にもっともらしく正確な理由付けと答えのペアを識別する能力を検証するために、人間による評価と定量的評価を実施した。

要約(オリジナル)

Language models (LMs) that jointly generate end-task answers as well as free-text rationales are known as self-rationalization models. Recent works demonstrate great performance gain for self-rationalization by few-shot prompting LMs with rationale-augmented exemplars. However, the ability to benefit from explanations only emerges with large-scale LMs, which have poor accessibility. In this work, we explore the less-studied setting of leveraging explanations for small LMs to improve few-shot self-rationalization. We first revisit the relationship between rationales and answers. Inspired by the implicit mental process of how human beings assess explanations, we present a novel approach, Zero-shot Augmentation of Rationale-Answer pairs (ZARA), to automatically construct pseudo-parallel data for self-training by reducing the problem of plausibility judgement to natural language inference. Experimental results show ZARA achieves SOTA performance on the FEB benchmark, for both the task accuracy and the explanation metric. In addition, we conduct human and quantitative evaluation validating ZARA’s ability to automatically identify plausible and accurate rationale-answer pairs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL