Batch Calibration: Rethinking Calibration for In-Context Learning and Prompt Engineering

要約

プロンプト学習とコンテキスト内学習 (ICL) は、大規模言語モデル (LLM) の効率的な学習パラダイムとなっています。
ただし、LLM はプロンプトの脆弱性と、書式設定、選択言語化ツール、ICL の例など (ただしこれらに限定されない) プロンプト内のさまざまなバイアス要因に悩まされます。
予期せぬパフォーマンスの低下を引き起こすこの問題に対処するために、LLM パフォーマンスを回復しながらこれらのバイアスの影響を軽減するキャリブレーション方法が開発されました。
この作業では、まず既存の校正方法の体系的な分析を行い、統一されたビューを提供し、失敗例を明らかにします。
これらの分析からインスピレーションを得て、私たちはバッチ キャリブレーション (BC) を提案します。これは、バッチ入力からのコンテキスト バイアスを制御し、さまざまな従来のアプローチを統合し、前述の問題に効果的に対処する、シンプルかつ直感的な方法です。
BC はゼロショット、推論のみであり、追加コストは無視できます。
少数ショットのセットアップでは、BC をさらに拡張して、ラベル付きデータからコンテキスト バイアスを学習できるようにします。
PaLM 2-(S、M、L) および CLIP モデルを使用して BC の有効性を検証し、10 を超える自然言語理解および画像分類タスクにわたって以前のキャリブレーション ベースラインを上回る最先端のパフォーマンスを実証します。

要約(オリジナル)

Prompting and in-context learning (ICL) have become efficient learning paradigms for large language models (LLMs). However, LLMs suffer from prompt brittleness and various bias factors in the prompt, including but not limited to the formatting, the choice verbalizers, and the ICL examples. To address this problem that results in unexpected performance degradation, calibration methods have been developed to mitigate the effects of these biases while recovering LLM performance. In this work, we first conduct a systematic analysis of the existing calibration methods, where we both provide a unified view and reveal the failure cases. Inspired by these analyses, we propose Batch Calibration (BC), a simple yet intuitive method that controls the contextual bias from the batched input, unifies various prior approaches, and effectively addresses the aforementioned issues. BC is zero-shot, inference-only, and incurs negligible additional costs. In the few-shot setup, we further extend BC to allow it to learn the contextual bias from labeled data. We validate the effectiveness of BC with PaLM 2-(S, M, L) and CLIP models and demonstrate state-of-the-art performance over previous calibration baselines across more than 10 natural language understanding and image classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google