Suffix Retrieval-Augmented Language Modeling

要約

因果言語モデリング (LM) では、単語履歴を使用して次の単語を予測します。
一方、BERT は、文中の双方向の単語情報を利用して、マスクされた位置の単語を予測します。
BERT はシーケンス エンコーディングに効果的ですが、本質的に非因果的であり、シーケンス生成用に設計されていません。
この論文では、双方向のコンテキスト効果を自己回帰的にシミュレートする新しい言語モデル、SUffix REtrieval-Augmented LM (SUREALM) を提案します。
SUREALM は、埋め込みレトリーバーを使用して、シーケンス生成中に同様の単語履歴を共有するデータ ストア内のトレーニング センテンスを検索します。
特に、検索された文の接尾辞部分は「未来」の文脈を模倣しています。
DSTC9 音声対話コーパスで提案されたモデルを評価し、競合するベースラインと比較して、検証およびテスト セットで有望な単語パープレキシティの削減を示しました。

要約(オリジナル)

Causal language modeling (LM) uses word history to predict the next word. BERT, on the other hand, makes use of bi-directional word information in a sentence to predict words at masked positions. While BERT is effective in sequence encoding, it is non-causal by nature and is not designed for sequence generation. In this paper, we propose a novel language model, SUffix REtrieval-Augmented LM (SUREALM), that simulates a bi-directional contextual effect in an autoregressive manner. SUREALM employs an embedding retriever to search for training sentences in a data store that share similar word history during sequence generation. In particular, the suffix portions of the retrieved sentences mimick the ‘future’ context. We evaluated our proposed model on the DSTC9 spoken dialogue corpus and showed promising word perplexity reduction on the validation and test set compared to competitive baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google