On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning

要約

標準の教師あり微調整 (SFT) パラダイムに従って、インコンテキスト学習 (ICL) は、大規模言語モデル (LLM) の最近の進歩によって促進された効率的なアプローチとなり、少数ショットのデータ設定でさまざまなタスクにわたって有望なパフォーマンスをもたらします。
ただし、どちらのパラダイムも、特にこのような限られたデータ設定では、過信 (つまり、校正ミス) という重大な問題に悩まされる傾向があります。
この研究では、パフォーマンスとキャリブレーション、およびそれらの相互作用の両方の観点から、さまざまな学習方法を選択した場合の動作を詳細に分析します。
広範な制御実験を通じて、タスクのパフォーマンスとキャリブレーションの両方を同時に向上させるのは困難であり、リソースが少ないシナリオではすべての学習方法に誤キャリブレーションの問題が存在することがわかりました。パフォーマンスとキャリブレーションの間のこの困難なトレードオフに対処するために、私たちは次のことを行いました。
次に、さまざまなモデリング段階で適用される自己アンサンブル手法の可能性を調査します (例: コンテキスト内の例のバリエーション、プロンプトやさまざまなアンサンブル戦略のバリエーション)。
私たちは、予測をより校正し、同等またはそれ以上のパフォーマンスを実現するために、ICL に加えて SFT での自己アンサンブルの実現可能性を正当化します。
私たちの研究は、どの学習パラダイムを選択すべきか、タスクのパフォーマンスと LLM の調整の両方を強化する方法を明らかにします。

要約(オリジナル)

Following the standard supervised fine-tuning (SFT) paradigm, in-context learning (ICL) has become an efficient approach propelled by the recent advancements in large language models (LLMs), yielding promising performance across various tasks in few-shot data setups. However, both paradigms are prone to suffer from the critical problem of overconfidence (i.e., miscalibration), especially in such limited data setups. In this work, we deliver an in-depth analysis of the behavior across different choices of learning methods from the perspective of both performance and calibration, as well as their interplay. Through extensive controlled experiments, we find that simultaneous gains for both task performance and calibration are difficult to achieve, and the problem of miscalibration exists across all learning methods in low-resource scenarios.To address this challenging trade-off between performance and calibration, we then investigate the potential of self-ensembling techniques applied at different modeling stages (e.g., variations of in-context examples or variations in prompts or different ensembling strategies). We justify the feasibility of self-ensembling on SFT in addition to ICL, to make the predictions more calibrated and have comparable or even better performance. Our work sheds light on which learning paradigm to choose and how to enhance both task performance and calibration of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google