ZARA: Improving Few-Shot Self-Rationalization for Small Language Models

要約

タスク終了時の回答とフリーテキストの根拠を共同で生成する言語モデル (LM) は、自己合理化モデルとして知られています。
最近の研究では、理論的根拠を強化したサンプルを使用して少数のショットでプロンプトを生成する LM による自己合理化のパフォーマンスが大幅に向上することが実証されています。
しかし、説明の恩恵を受けることができるのは、アクセシビリティが低い大規模な LM でのみです。
この研究では、小規模な LM の説明を活用して少数ショットの自己合理化を改善するという、あまり研究されていない設定を検討します。
まず、根拠と答えの関係を再検討します。
人間が説明を評価する方法の暗黙の精神プロセスに触発され、妥当性の判断の問題を軽減することで自己学習用の疑似並列データを自動的に構築する、新しいアプローチであるゼロショット拡張根拠-回答ペア (ZARA) を紹介します。
自然言語推論まで。
実験結果は、ZARA がタスクの精度と説明メトリクスの両方において、FEB ベンチマークで SOTA パフォーマンスを達成していることを示しています。
さらに、私たちは人間的かつ定量的な評価を実施し、もっともらしく正確な根拠と回答のペアを自動的に特定する ZARA の能力を検証します。

要約(オリジナル)

Language models (LMs) that jointly generate end-task answers as well as free-text rationales are known as self-rationalization models. Recent works demonstrate great performance gain for self-rationalization by few-shot prompting LMs with rationale-augmented exemplars. However, the ability to benefit from explanations only emerges with large-scale LMs, which have poor accessibility. In this work, we explore the less-studied setting of leveraging explanations for small LMs to improve few-shot self-rationalization. We first revisit the relationship between rationales and answers. Inspired by the implicit mental process of how human beings assess explanations, we present a novel approach, Zero-shot Augmentation of Rationale-Answer pairs (ZARA), to automatically construct pseudo-parallel data for self-training by reducing the problem of plausibility judgement to natural language inference. Experimental results show ZARA achieves SOTA performance on the FEB benchmark, for both the task accuracy and the explanation metric. In addition, we conduct human and quantitative evaluation validating ZARA’s ability to automatically identify plausible and accurate rationale-answer pairs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google