Non-Exchangeable Conformal Language Generation with Nearest Neighbors

要約

自動生成されたテキストの不確実性を定量化することは、人間が潜在的な幻覚をチェックできるようにし、システムの信頼性を高めるために重要です。
等角予測は、統計的保証が組み込まれた予測を提供する魅力的なフレームワークですが、テキスト生成への適用は困難です。
仮定は現実的ではありません。
この論文では、互換性のない等角予測に関する最近の結果を活用することで、このギャップを埋めます。これにより、カバー範囲の限界が保証されます。
その結果、交換不可能な等角核サンプリングは、最近傍に基づく生成への等角予測フレームワークの新たな拡張です。
私たちの方法は、追加のトレーニングなしで任意のモデルに対して事後的に使用でき、統計的保証を備えたトークンレベルの調整された予測セットを提供します。
機械翻訳と言語モデリングの実験では、生成品質において有望な結果が示されています。
また、良好なカバレッジを備えたより厳密な予測セットを生成することにより、コンフォーマルな保証を備えたサンプリングを実行するための、より理論的に原理に基づいた方法が提供されます。

要約(オリジナル)

Quantifying uncertainty in automatically generated text is important for letting humans check potential hallucinations and making systems more reliable. Conformal prediction is an attractive framework to provide predictions imbued with statistical guarantees, however, its application to text generation is challenging since any i.i.d. assumptions are not realistic. In this paper, we bridge this gap by leveraging recent results on non-exchangeable conformal prediction, which still ensures bounds on coverage. The result, non-exchangeable conformal nucleus sampling, is a novel extension of the conformal prediction framework to generation based on nearest neighbors. Our method can be used post-hoc for an arbitrary model without extra training and supplies token-level, calibrated prediction sets equipped with statistical guarantees. Experiments in machine translation and language modeling show encouraging results in generation quality. By also producing tighter prediction sets with good coverage, we thus give a more theoretically principled way to perform sampling with conformal guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google