Leveraging Biases in Large Language Models: ‘bias-kNN” for Effective Few-Shot Learning

要約

大規模言語モデル (LLM) は、ゼロショット学習や少数ショット学習など、さまざまなアプリケーションで大きな期待を集めています。
ただし、固有のバイアスによってパフォーマンスが妨げられる場合があります。
これらのバイアスを最小化または修正することを目的とした従来求められてきた方法の代わりに、この研究では「bias-kNN」と呼ばれる新しい方法論が導入されています。
このアプローチは、偏った出力を利用し、それらを kNN の主要な特徴として利用し、ゴールド ラベルで補足します。
多様なドメインテキスト分類データセットとさまざまな GPT-2 モデルサイズにわたる包括的な評価は、「bias-kNN」法の適応性と有効性を示しています。
注目すべきことに、このアプローチは、少数ショットのシナリオで従来のコンテキスト内学習を上回るパフォーマンスを発揮するだけでなく、サンプル、テンプレート、言語化ツールの範囲全体にわたって堅牢性も実証しています。
したがって、この研究は、バイアスを利用し、モデルのパフォーマンスを向上させるための資産に変換することに関する独自の視点を示しています。

要約(オリジナル)

Large Language Models (LLMs) have shown significant promise in various applications, including zero-shot and few-shot learning. However, their performance can be hampered by inherent biases. Instead of traditionally sought methods that aim to minimize or correct these biases, this study introduces a novel methodology named “bias-kNN”. This approach capitalizes on the biased outputs, harnessing them as primary features for kNN and supplementing with gold labels. Our comprehensive evaluations, spanning diverse domain text classification datasets and different GPT-2 model sizes, indicate the adaptability and efficacy of the “bias-kNN” method. Remarkably, this approach not only outperforms conventional in-context learning in few-shot scenarios but also demonstrates robustness across a spectrum of samples, templates and verbalizers. This study, therefore, presents a unique perspective on harnessing biases, transforming them into assets for enhanced model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google