Conformal Autoregressive Generation: Beam Search with Coverage Guarantees

要約

理論的なカバレッジが保証されたシーケンスのセットを生成するために、等角予測 (CP) に基づくビーム探索アルゴリズムに 2 つの新しい拡張機能を導入します。
最初の方法は非常に単純で、動的にサイズ変更されたビーム探索結果のサブセットを提案しますが、一般的な CP 手順とは異なり、ポストホック校正手段に応じて達成可能な保証に上限があります。
2 番目のアルゴリズムでは、復号化プロセスの一部として等角セット予測手順を導入し、現在の不確実性に適応する可変ビーム幅を生成します。
この手順はより複雑ですが、事前に選択された適用範囲保証を達成できます。
各手法に限界範囲を設定し、自然言語処理と化学から得られる選択されたタスクに基づいて経験的に評価します。

要約(オリジナル)

We introduce two new extensions to the beam search algorithm based on conformal predictions (CP) to produce sets of sequences with theoretical coverage guarantees. The first method is very simple and proposes dynamically-sized subsets of beam search results but, unlike typical CP procedures, has an upper bound on the achievable guarantee depending on a post-hoc calibration measure. Our second algorithm introduces the conformal set prediction procedure as part of the decoding process, producing a variable beam width which adapts to the current uncertainty. While more complex, this procedure can achieve coverage guarantees selected a priori. We provide marginal coverage bounds for each method, and evaluate them empirically on a selection of tasks drawing from natural language processing and chemistry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google