Determinantal Beam Search

要約

ビーム探索は、神経配列モデルをデコードするための頼りになる戦略です。
このアルゴリズムは、当然のことながら、対応する集合関数が候補間の相互作用を反映していない場合でも、サブセット最適化問題として見ることができます。
経験的には、これにより、セットの重複が多くなることが多くなります。たとえば、文字列が 1 つの単語だけ異なる場合があります。
しかし、複数のソリューションが必要なユースケースでは、多くの場合、多様な、または代表的なセットが望まれます。
この問題に対処するために、我々はビーム探索の再定式化を提案します。これを決定的ビーム探索と呼びます。
決定的ビーム探索は、決定点プロセス (DPP)、つまりセット内相互作用を本質的にエンコードするセットにわたるモデルと自然な関係を持っています。
ビーム探索の反復を一連の準決定項最大化問題として設定することにより、アルゴリズムを多様なサブセット選択プロセスに変えることができます。
ケーススタディでは、文字列サブシーケンス カーネルを使用して、シーケンス モデルから生成されたテキストでの N グラム カバレッジを明示的に促進します。
私たちのアルゴリズムは、多様性を最適化するためのより一般的なアプローチを提供しながら、言語生成のコンテキストで他の多様なセット生成戦略に対して競合するパフォーマンスを提供することがわかりました。

要約(オリジナル)

Beam search is a go-to strategy for decoding neural sequence models. The algorithm can naturally be viewed as a subset optimization problem, albeit one where the corresponding set function does not reflect interactions between candidates. Empirically, this leads to sets often exhibiting high overlap, e.g., strings may differ by only a single word. Yet in use-cases that call for multiple solutions, a diverse or representative set is often desired. To address this issue, we propose a reformulation of beam search, which we call determinantal beam search. Determinantal beam search has a natural relationship to determinantal point processes (DPPs), models over sets that inherently encode intra-set interactions. By posing iterations in beam search as a series of subdeterminant maximization problems, we can turn the algorithm into a diverse subset selection process. In a case study, we use the string subsequence kernel to explicitly encourage n-gram coverage in text generated from a sequence model. We observe that our algorithm offers competitive performance against other diverse set generation strategies in the context of language generation, while providing a more general approach to optimizing for diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google