In-Context Learning (and Unlearning) of Length Biases

要約

大規模な言語モデルは、模範的な入出力のペアリングがデモンストレーションのプロンプトに追加されるコンテキスト内で学習する強力な能力を実証しています。
ただし、既存の作業により、モデルが語彙的バイアスを学習し、コンテキストでラベルを付ける能力が実証されており、モデルのパフォーマンスと堅牢性の両方に悪影響を及ぼします。
他の統計データバイアスの影響は未調査のままであり、この作業は対処することを目的としています。
コンテキスト内学習に対する長さのバイアスの影響を具体的に調査します。
モデルは、コンテキストウィンドウで予測の長さのバイアスを学習し、モデルによって示されるバイアスのレベルを調節する要因をさらに経験的に分析することを実証します。
さらに、コンテキスト内の学習長さ情報を使用して、モデルでエンコードされた長さのバイアスに対抗できることを示しています（たとえば、微調整を介して）。
これにより、コストのかかるパラメーターの更新を必要とせずに、モデルの予測行動の削除におけるコンテキスト内学習の力が明らかになります。

要約(オリジナル)

Large language models have demonstrated strong capabilities to learn in-context, where exemplar input-output pairings are appended to the prompt for demonstration. However, existing work has demonstrated the ability of models to learn lexical and label biases in-context, which negatively impacts both performance and robustness of models. The impact of other statistical data biases remains under-explored, which this work aims to address. We specifically investigate the impact of length biases on in-context learning. We demonstrate that models do learn length biases in the context window for their predictions, and further empirically analyze the factors that modulate the level of bias exhibited by the model. In addition, we show that learning length information in-context can be used to counter the length bias that has been encoded in models (e.g., via fine-tuning). This reveals the power of in-context learning in debiasing model prediction behaviors without the need for costly parameter updates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google