Conformal Prediction for Natural Language Processing: A Survey

要約

大規模な言語モデルや自然言語処理（NLP）アプリケーションの急速な普及は、幻覚などのリスクを軽減し、重要なアプリケーションにおける意思決定の信頼性を高めるために、不確実性の定量化の重要な必要性を生み出している。コンフォーマル予測は、柔軟性と強力な統計的保証を併せ持つ、理論的に健全で実用的に有用なフレームワークとして台頭してきている。そのモデルにとらわれない、分布にとらわれない性質は、不確定性定量化の欠如に起因する、現在の自然言語処理システムの欠点を解決する上で特に有望である。本論文では、コンフォーマル予測技術、その保証、およびNLPにおける既存のアプリケーションの包括的なサーベイを提供し、今後の研究の方向性と未解決の課題を指摘する。

要約(オリジナル)

The rapid proliferation of large language models and natural language processing (NLP) applications creates a crucial need for uncertainty quantification to mitigate risks such as hallucinations and to enhance decision-making reliability in critical applications. Conformal prediction is emerging as a theoretically sound and practically useful framework, combining flexibility with strong statistical guarantees. Its model-agnostic and distribution-free nature makes it particularly promising to address the current shortcomings of NLP systems that stem from the absence of uncertainty quantification. This paper provides a comprehensive survey of conformal prediction techniques, their guarantees, and existing applications in NLP, pointing to directions for future research and open challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL