Teacher-Student Training for Debiasing: General Permutation Debiasing for Large Language Models

要約

大規模言語モデル (LLM) は、NLP タスクにおいて優れたゼロショット機能と多用途性を実証してきましたが、特定のタスクに対して重要な不変性を維持できない場合があります。
一例は順列感度であり、LLM の出力は入力オプションの順序に応じて大幅に変化する可能性があります。
バイアス除去手法はこれらの問題を軽減し、パフォーマンスと信頼性を向上させることができますが、多くの場合、推論時に高い計算コストがかかります。
このペーパーでは、推論時のこの非効率性に対処します。
目的は、計算量が多く、偏りが解消された教師モデルの機能を、よりコンパクトな生徒モデルに抽出することです。
学生モデルの 2 つのバリエーションを検討します。1 つは純粋な蒸留に基づいており、もう 1 つはより複雑なタスク用の誤り訂正アプローチに基づいており、教師からの単一の偏った決定を学生が修正して偏りのない出力を達成します。
私たちのアプローチは一般的であり、ブラックボックス LLM とホワイトボックス LLM の両方に適用できます。
さらに、私たちのコンパクトなエンコーダのみの学生モデルが、より大規模で偏った教師モデルよりも優れたパフォーマンスを発揮し、大幅に少ないパラメータでより良い結果を達成できることを実証します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated impressive zero-shot capabilities and versatility in NLP tasks, however they sometimes fail to maintain crucial invariances for specific tasks. One example is permutation sensitivity, where LLMs’ outputs may significantly vary depending on the order of the input options. While debiasing techniques can mitigate these issues, and yield better performance and reliability, they often come with a high computational cost at inference. This paper addresses this inefficiency at inference time. The aim is to distill the capabilities of a computationally intensive, debiased, teacher model into a more compact student model. We explore two variants of student models: one based on pure distillation, and the other on an error-correction approach for more complex tasks, where the student corrects a single biased decision from the teacher to achieve a debiased output. Our approach is general and can be applied to both black-box and white-box LLMs. Furthermore, we demonstrate that our compact, encoder-only student models can outperform their larger, biased teacher counterparts, achieving better results with significantly fewer parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google