On the Calibration of Large Language Models and Alignment

要約

大規模な言語モデルがますます注目を集め、広く応用されるようになると、信頼性に関する課題も同時に発生します。
信頼性キャリブレーションは、ディープモデルの信頼性を測定するための効果的な分析方法であり、信頼性を評価および改善するための重要なツールとして機能します。
しかし、そのような調査は比較的十分に調査されていません。
この作業では、事前トレーニングと調整トレーニングを含む構築プロセス全体を通じて、調整された言語モデルの調整の体系的な検査を実行します。
各段階で、パラメーター スケールやトレーニング データなどのさまざまなトレーニング設定がモデルのキャリブレーションにどのような影響を与えるかを調査します。
モデルのキャリブレーションを徹底的に評価するために、生成、事実性、理解という 3 つの最も重要な側面でモデルを評価します。
私たちの研究は、人気のある LLM が適切に調整されているかどうか、およびトレーニング プロセスがモデルの調整にどのような影響を与えるかを明らかにします。

要約(オリジナル)

As large language models attract increasing attention and find widespread application, concurrent challenges of reliability also arise at the same time. Confidence calibration, an effective analysis method for gauging the reliability of deep models, serves as a crucial tool for assessing and improving their reliability. However, such investigation has been comparatively underexplored. In this work, we conduct a systematic examination of the calibration of aligned language models throughout the entire construction process, including pretraining and alignment training. At each stage, we investigate how different training settings, such as parameter scales and training data, affect model calibration. To thoroughly assess model calibration, we evaluate models on three most concerned aspects: generation, factuality and understanding. Our work sheds light on whether popular LLMs are well-calibrated and how the training process influences model calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google