Calibration in Deep Learning: A Survey of the State-of-the-Art

要約

ディープ ニューラル モデルのキャリブレーションは、セーフティ クリティカルなアプリケーションにおいて信頼性が高く堅牢な AI システムを構築する上で重要な役割を果たします。
最近の研究では、高い予測能力を備えた最新のニューラル ネットワークの調整が不十分で、信頼性の低いモデル予測を生成することが判明しました。
深層学習モデルはさまざまなベンチマークで顕著なパフォーマンスを達成しますが、モデルのキャリブレーションと信頼性の研究は比較的十分に研究されていません。
理想的な深層モデルは、高い予測パフォーマンスを備えているだけでなく、適切に調整されている必要があります。
最近、さまざまなメカニズムを使用してディープ モデルを調整する方法がいくつか提案されています。
この調査では、最先端のキャリブレーション方法をレビューし、モデル キャリブレーションを実行するためのその原理を理解します。
まず、モデル キャリブレーションの定義から始めて、モデルの誤キャリブレーションの根本原因について説明します。
次に、この側面を測定できる主要な指標を紹介します。
続いて、校正手法をポストホック校正、正則化手法、不確かさ推定、合成手法の 4 つに大別してまとめます。
また、大規模モデル、特に大規模言語モデル (LLM) の調整における最近の進歩についても取り上げました。
最後に、いくつかの未解決の問題、課題、および潜在的な方向性について説明します。

要約(オリジナル)

Calibrating deep neural models plays an important role in building reliable, robust AI systems in safety-critical applications. Recent work has shown that modern neural networks that possess high predictive capability are poorly calibrated and produce unreliable model predictions. Though deep learning models achieve remarkable performance on various benchmarks, the study of model calibration and reliability is relatively underexplored. Ideal deep models should have not only high predictive performance but also be well calibrated. There have been some recent methods proposed to calibrate deep models by using different mechanisms. In this survey, we review the state-of-the-art calibration methods and provide an understanding of their principles for performing model calibration. First, we start with the definition of model calibration and explain the root causes of model miscalibration. Then we introduce the key metrics that can measure this aspect. It is followed by a summary of calibration methods that we roughly classified into four categories: post-hoc calibration, regularization methods, uncertainty estimation, and composition methods. We also covered some recent advancements in calibrating large models, particularly large language models (LLMs). Finally, we discuss some open issues, challenges, and potential directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google