Probabilistically-Sound Beam Search with Masked Language Models

要約

マスク言語モデル (MLM) を使用したビーム探索は、自己回帰モデルとは異なり、シーケンス全体の同時確率分布がすぐに利用できないため、部分的には困難です。
ただし、このような分布の推定には、古文書復元やタンパク質工学などの重要な分野固有の用途があります。
ここでは、MLM を使用したビーム探索のための確率的に適切な方法を紹介します。
まず、標準のビーム検索を使用して MLM によるテキスト埋め込みを実行することが理論的に適切である条件を明確にします。
これらの条件が失敗した場合、追加の計算を複雑にすることなく、確率的に適切な修正を提供し、それが予想される条件において前述のビーム探索よりも優れていることを実証します。
次に、いくつかのドメインにわたる MLM を使用したいくつかの充填アプローチを比較した経験的結果を示します。

要約(オリジナル)

Beam search with masked language models (MLMs) is challenging in part because joint probability distributions over sequences are not readily available, unlike for autoregressive models. However, estimating such distributions has important domain-specific applications such as ancient text restoration and protein engineering. Here we present probabilistically-sound methods for beam search with MLMs. First, we clarify the conditions under which it is theoretically sound to perform text infilling with MLMs using standard beam search. When these conditions fail, we provide a probabilistically-sound modification with no additional computational complexity and demonstrate that it is superior to the aforementioned beam search in the expected conditions. We then present empirical results comparing several infilling approaches with MLMs across several domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google