Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering

要約

生成モデルには出力に対する厳密な統計的保証がないため、安全性が重要なアプリケーションでは信頼性が低くなります。
この研究では、生成モデルの逐次等角予測 (SCOPE-Gen) を提案します。これは、等角許容制御と呼ばれる厳密な統計的保証を満たす予測セットを生成する逐次等角予測方法です。
この保証は、高い確率で予測セットに少なくとも 1 つの許容可能な (または有効な) 例が含まれていることを示します。
この目的を達成するために、私たちの方法はまず i.i.d の初期セットをサンプリングします。
ブラックボックス生成モデルの例。
次に、このセットは、いわゆる貪欲フィルターを介して反復的にプルーニングされます。
反復生成手順の結果、最終予測セットの許容性はマルコフ連鎖として因数分解されます。
この因数分解は、等角予測を使用して各因子を個別に制御できるため、非常に重要です。
以前の研究と比較して、私たちの方法は、キャリブレーション中の許容性評価の数が大幅に減少することを示しています。
この削減は、安全性が重要なアプリケーションでは重要です。このような評価は、ドメインの専門家が手動で実行する必要があるため、コストと時間がかかります。
自然言語生成と分子グラフ拡張タスクの実験を通じて、予測セットの許容性評価とカーディナリティの観点から、この方法の利点を強調します。

要約(オリジナル)

Generative models lack rigorous statistical guarantees for their outputs and are therefore unreliable in safety-critical applications. In this work, we propose Sequential Conformal Prediction for Generative Models (SCOPE-Gen), a sequential conformal prediction method producing prediction sets that satisfy a rigorous statistical guarantee called conformal admissibility control. This guarantee states that with high probability, the prediction sets contain at least one admissible (or valid) example. To this end, our method first samples an initial set of i.i.d. examples from a black box generative model. Then, this set is iteratively pruned via so-called greedy filters. As a consequence of the iterative generation procedure, admissibility of the final prediction set factorizes as a Markov chain. This factorization is crucial, because it allows to control each factor separately, using conformal prediction. In comparison to prior work, our method demonstrates a large reduction in the number of admissibility evaluations during calibration. This reduction is important in safety-critical applications, where these evaluations must be conducted manually by domain experts and are therefore costly and time consuming. We highlight the advantages of our method in terms of admissibility evaluations and cardinality of the prediction sets through experiments in natural language generation and molecular graph extension tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google