Conditional Poisson Stochastic Beam Search

要約

ビーム検索は、NLP の多くのシーケンス生成タスクのデフォルトのデコード戦略です。
アルゴリズムによって返される近似 K ベスト アイテムのセットは、多くのアプリケーションで分布の要約として役立ちます。
ただし、候補者は通常、高い重複を示し、モデルの下での期待に対して非常に偏った見積もりを与える可能性があります。
これらの問題は、代わりに確率的復号化戦略を使用することで対処できます。
この作業では、ビーム検索を確率プロセスに変える新しい方法、条件付きポアソン確率ビーム検索を提案します。
各反復で最大化セットを取得するのではなく、条件付きポアソン サンプリング設計に従って、置換なしで K 個の候補をサンプリングします。
これは、Kool らのより自然な代替手段と考えています。
アル。
2019 年の確率的ビーム探索 (SBS)。
さらに、CPSBS 設計で生成されたサンプルを使用して、一貫した推定量を構築し、シーケンス モデルから多様なセットをサンプリングする方法を示します。
私たちの実験では、CPSBS が SBS よりも低い分散とより効率的な推定量を生成することを観察し、高いエントロピー設定でも改善を示しています。

要約(オリジナル)

Beam search is the default decoding strategy for many sequence generation tasks in NLP. The set of approximate K-best items returned by the algorithm is a useful summary of the distribution for many applications; however, the candidates typically exhibit high overlap and may give a highly biased estimate for expectations under our model. These problems can be addressed by instead using stochastic decoding strategies. In this work, we propose a new method for turning beam search into a stochastic process: Conditional Poisson stochastic beam search. Rather than taking the maximizing set at each iteration, we sample K candidates without replacement according to the conditional Poisson sampling design. We view this as a more natural alternative to Kool et. al. 2019’s stochastic beam search (SBS). Furthermore, we show how samples generated under the CPSBS design can be used to build consistent estimators and sample diverse sets from sequence models. In our experiments, we observe CPSBS produces lower variance and more efficient estimators than SBS, even showing improvements in high entropy settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google