EEL: Efficiently Encoding Lattices for Reranking

要約

条件付きテキスト生成タスクの標準的なデコード アプローチでは、通常、モデルの確率が高い出力仮説を検索しますが、人間の品質判断によっては最良の仮説が得られない可能性があります。
「下流」メトリクスを最適化するための再ランキングは品質をより良く最適化できますが、対象となるメトリクスの多くは事前トレーニングされた言語モデルで計算されており、多数の仮説に適用するには時間がかかります。
私たちは、Transformer を使用して生成された出力のラティスを効率的にエンコードすることで仮説を再ランク付けするアプローチ (EEL と呼ばれる方法) を検討します。
ラティス全体を単一の Transformer パスで通過することで、あたかもそれが単独の単一の仮説の一部にすぎないかのように、各トークンの文脈化された表現を近似的に計算できます。
このアプローチを新しいクラスのトークンファクタリング リランカー (TFR) と組み合わせます。これにより、格子からリランカー スコアの高い仮説を効率的に抽出できます。
経験的に、私たちのアプローチは、各仮説を個別にエンコードする指数関数的に遅いアプローチと比較して、最小限の劣化エラーを引き起こします。
3 つのテキスト生成タスクにわたって TFR を使用した EEL を適用した場合、結果は、単純な再ランキングと比較して大幅な高速化と、多くの場合、同等のアプローチよりもダウンストリーム メトリクスのパフォーマンスが向上していることを示しています。

要約(オリジナル)

Standard decoding approaches for conditional text generation tasks typically search for an output hypothesis with high model probability, but this may not yield the best hypothesis according to human judgments of quality. Reranking to optimize for ‘downstream’ metrics can better optimize for quality, but many metrics of interest are computed with pre-trained language models, which are slow to apply to large numbers of hypotheses. We explore an approach for reranking hypotheses by using Transformers to efficiently encode lattices of generated outputs, a method we call EEL. With a single Transformer pass over the entire lattice, we can approximately compute a contextualized representation of each token as if it were only part of a single hypothesis in isolation. We combine this approach with a new class of token-factored rerankers (TFRs) that allow for efficient extraction of high reranker-scoring hypotheses from the lattice. Empirically, our approach incurs minimal degradation error compared to the exponentially slower approach of encoding each hypothesis individually. When applying EEL with TFRs across three text generation tasks, our results show both substantial speedup compared to naive reranking and often better performance on downstream metrics than comparable approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google