Task Calibration: Calibrating Large Language Models on Inference Tasks

要約

大規模言語モデル (LLM) は、推論タスクで印象的なゼロショット パフォーマンスを示しました。
ただし、LLM は入力テキストと出力ラベル間の誤った相関に悩まされる可能性があり、純粋に一般的な言語理解に基づいて推論する LLM の能力が制限されます。
言い換えれば、LLM は両方の要素ではなく、主に前提または仮説に基づいて予測を行う可能性があります。
予期せぬパフォーマンスの低下を引き起こす可能性があるこの問題に対処するために、タスク キャリブレーション (TC) を提案します。これは、タスクの再定式化を通じて LLM パフォーマンスを回復する、相互情報量に基づいたゼロショットおよび推論のみのキャリブレーション手法です。
TC は、LLM が前提と仮説の両方に基づいて推論することを奨励し、推論におけるモデルの個々の前提や仮説への過度の依存を軽減します。
実験結果は、TC がゼロショット設定の 13 の推論タスクで大幅な改善を達成したことを示しています。
さらに、数ショットのセットアップやさまざまな自然言語理解タスクにおける TC の有効性を検証します。
さらなる分析により、TC はプロンプト テンプレートに対しても堅牢であり、他のキャリブレーション方法と統合できる可能性があることが示されています。

要約(オリジナル)

Large language models (LLMs) have exhibited impressive zero-shot performance on inference tasks. However, LLMs may suffer from spurious correlations between input texts and output labels, which limits LLMs’ ability to reason based purely on general language understanding. In other words, LLMs may make predictions primarily based on premise or hypothesis, rather than both components. To address this problem that may lead to unexpected performance degradation, we propose task calibration (TC), a zero-shot and inference-only calibration method inspired by mutual information which recovers LLM performance through task reformulation. TC encourages LLMs to reason based on both premise and hypothesis, while mitigating the models’ over-reliance on individual premise or hypothesis for inference. Experimental results show that TC achieves a substantial improvement on 13 inference tasks in the zero-shot setup. We further validate the effectiveness of TC in few-shot setups and various natural language understanding tasks. Further analysis indicates that TC is also robust to prompt templates and has the potential to be integrated with other calibration methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google