Calibration in Deep Learning: A Survey of the State-of-the-Art

要約

ディープ ニューラル モデルのキャリブレーションは、セーフティ クリティカルなアプリケーションにおいて信頼性が高く堅牢な AI システムを構築する上で重要な役割を果たします。
最近の研究では、高い予測能力を備えた最新のニューラル ネットワークの調整が不十分で、信頼性の低いモデル予測を生成することが判明しました。
深層学習モデルはさまざまなベンチマークで顕著なパフォーマンスを達成しますが、モデルのキャリブレーションと信頼性の研究は比較的十分に研究されていません。
理想的な深層モデルは、高い予測パフォーマンスを備えているだけでなく、適切に調整されている必要があります。
最近、ディープモデルのキャリブレーションにおいていくつかの進歩が見られました。
この調査では、モデル キャリブレーションを実行するための最先端のキャリブレーション方法とその原理を確認します。
まず、モデル キャリブレーションの定義から始めて、モデルの誤キャリブレーションの根本原因について説明します。
次に、この側面を測定できる主要な指標を紹介します。
続いて、校正手法をまとめて、事後校正、正則化手法、不確実性推定、合成手法の 4 つに大別します。
また、大規模モデル、特に大規模言語モデル (LLM) の調整における最近の進歩についても取り上げます。
最後に、いくつかの未解決の問題、課題、および潜在的な方向性について説明します。

要約(オリジナル)

Calibrating deep neural models plays an important role in building reliable, robust AI systems in safety-critical applications. Recent work has shown that modern neural networks that possess high predictive capability are poorly calibrated and produce unreliable model predictions. Though deep learning models achieve remarkable performance on various benchmarks, the study of model calibration and reliability is relatively underexplored. Ideal deep models should have not only high predictive performance but also be well calibrated. There have been some recent advances in calibrating deep models. In this survey, we review the state-of-the-art calibration methods and their principles for performing model calibration. First, we start with the definition of model calibration and explain the root causes of model miscalibration. Then we introduce the key metrics that can measure this aspect. It is followed by a summary of calibration methods that we roughly classify into four categories: post-hoc calibration, regularization methods, uncertainty estimation, and composition methods. We also cover recent advancements in calibrating large models, particularly large language models (LLMs). Finally, we discuss some open issues, challenges, and potential directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google