A Study on the Calibration of In-context Learning

要約

最新の自己回帰言語モデルは、次のトークンを予測することで広範なデータのログ損失を最小限に抑えるようにトレーニングされているため、問題を次のトークンの予測タスクとして組み立てるときに、調整された答えが得られることが期待されます。
私たちはこれを、プロンプト作成を通じて凍結された大規模言語モデル (LLM) を適応させるために広く使用されている方法であるインコンテキスト学習 (ICL) について研究し、幅広い自然言語理解および推論タスクにおけるパフォーマンスとキャリブレーションの間のトレードオフを調査します。
。
私たちは、モデルのサイズを増やし、より多くの ICL サンプルを組み込み、慎重に厳選されたデータセットに対するヒューマン フィードバックからの命令、対話、または強化学習 (RLHF) を使用してモデルを微調整すると、このようなトレードオフが悪化する可能性があることを示すために広範な実験を実施しています。
さらに、温度スケーリングなどの広く有効な一般的な再キャリブレーション手法では、キャリブレーション誤差の増加が限られていることがわかり、モデルの信頼性が期待される設定には新しい方法が必要になる可能性があることが示唆されています。

要約(オリジナル)

Modern auto-regressive language models are trained to minimize log loss on broad data by predicting the next token so they are expected to get calibrated answers when framing a problem as a next-token prediction task. We study this for in-context learning (ICL), a widely used way to adapt frozen large language models (LLMs) via crafting prompts, and investigate the trade-offs between performance and calibration on a wide range of natural language understanding and reasoning tasks. We conduct extensive experiments to show that such trade-offs may get worse as we increase model size, incorporate more ICL examples, and fine-tune models using instruction, dialog, or reinforcement learning from human feedback (RLHF) on carefully curated datasets. Furthermore, we find that common recalibration techniques that are widely effective such as temperature scaling provide limited gains in calibration errors, suggesting that new methods may be required for settings where models are expected to be reliable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google