A Survey of Language Model Confidence Estimation and Calibration

要約

言語モデル (LM) は、さまざまなドメインの幅広いタスクにわたって優れた機能を実証してきました。
その素晴らしいパフォーマンスにもかかわらず、その出力の信頼性は、AI の安全性の要求に関して懸念され、疑問が持たれています。
LM 予測の信頼性を評価し、LM の信頼性を正確に調整することを目的として、さまざまなタスクにわたってそれらを調整することは、リスクを軽減し、LM がより適切な意思決定を行えるようにするのに役立ちます。
この点に関してはさまざまな研究が行われてきましたが、この重要な研究分野の包括的な概要はまだありません。
今回の調査は、このギャップを埋めることを目的としています。
特に、さまざまな LM とさまざまなタスクを含む、LM 信頼度の推定と校正のための方法と技術について説明します。
さらに、大規模な言語モデルの信頼度を推定する際の課題について概説し、将来の研究に向けたいくつかの有望な方向性を提案します。

要約(オリジナル)

Language models (LMs) have demonstrated remarkable capabilities across a wide range of tasks in various domains. Despite their impressive performance, the reliability of their output is concerning and questionable regarding the demand for AI safety. Assessing the confidence of LM predictions and calibrating them across different tasks with the aim to align LM confidence with accuracy can help mitigate risks and enable LMs to make better decisions. There have been various works in this respect, but there has been no comprehensive overview of this important research area. The present survey aims to bridge this gap. In particular, we discuss methods and techniques for LM confidence estimation and calibration, encompassing different LMs and various tasks. We further outline the challenges of estimating the confidence for large language models and we suggest some promising directions for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google