Explanation-based Finetuning Makes Models More Robust to Spurious Cues

要約

タイトル：説明に基づくファインチューニングは、モデルを誤った手がかりからより堅牢にする

要約：
– 大規模言語モデルは強力であるため、時にタスクに関係のないラベルと特徴量の相関関係を学び、分布外データでの汎化性能が低下することがある。
– 我々は、説明に基づくファインチューニングを提案し、LLMの誤った相関関係への依存を緩和する汎用的手法である。
– 通常のファインチューニングではモデルは入力に対する回答のみを予測するが、我々の手法では、回答を補足する自由テキストの説明を生成するようにファインチューニングする。
– 我々の方法を評価するために、異なるタイプの誤った手がかりを含む人工的に構成されたトレーニングセットでモデルをファインチューニングし、これらの手がかりが含まれないテストセットで試験する。
– 標準的なファインチューニングに比べ、我々の手法は、精度が下がることによる誤った手がかりに対してモデルを驚くほど堅牢にする。4つの分類タスクにおける精度の低下率：ComVE（+1.2）、CREAK（+9.1）、e-SNLI（+15.4）、SBIC（+6.5）。
– また、モデルによって生成された説明を使用すると同様に手法が有効であるため、人間によって書かれた説明がないデータセットにも適用できることを示唆する。

要約(オリジナル)

Large Language Models (LLMs) are so powerful that they sometimes learn correlations between labels and features that are irrelevant to the task, leading to poor generalization on out-of-distribution data. We propose explanation-based finetuning as a novel and general approach to mitigate LLMs’ reliance on spurious correlations. Unlike standard finetuning where the model only predicts the answer given the input, we finetune the model to additionally generate a free-text explanation supporting its answer. To evaluate our method, we finetune the model on artificially constructed training sets containing different types of spurious cues, and test it on a test set without these cues. Compared to standard finetuning, our method makes models remarkably more robust against spurious cues in terms of accuracy drop across four classification tasks: ComVE (+1.2), CREAK (+9.1), e-SNLI (+15.4), and SBIC (+6.5). Moreover, our method works equally well with explanations generated by the model, implying its applicability to more datasets without human-written explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI