Efficient Long-range Language Modeling with Self-supervised Causal Retrieval

要約

最近、検索ベースの言語モデル (RLM) が大きな注目を集めています。
ただし、それらのほとんどは、固定パラメーターを備えた事前トレーニング済みの検索機能を利用しているため、因果言語モデルにうまく適応できない可能性があります。
この研究では、レトリーバーとコーザル LM の共同事前トレーニングを可能にする新しいモジュールであるグループ化クロスアテンションを提案し、それをロングコンテキスト モデリングに適用します。
特定の入力シーケンスについて、それをチャンクに分割し、現在のチャンクを使用して、後続のテキスト生成のために過去のチャンクを取得します。
私たちのイノベーションにより、取得者は、エンドツーエンドの方法で後続のトークンの自動回帰損失をより適切に最小限に抑える過去のチャンクを取得する方法を学習できるようになります。
top-$k$ 取得を統合することで、最大 64K トークンのコンテキスト長でモデルを最初から効率的に事前トレーニングできます。
私たちの実験では、長距離 LM ベースラインと比較して、私たちのモデルが同等またはより低い事前トレーニングおよび推論コストでより低い複雑度を達成できることを示しています。

要約(オリジナル)

Recently, retrieval-based language models (RLMs) have received much attention. However, most of them leverage a pre-trained retriever with fixed parameters, which may not adapt well to causal language models. In this work, we propose Grouped Cross-Attention, a novel module enabling joint pre-training of the retriever and causal LM, and apply it to long-context modeling. For a given input sequence, we split it into chunks and use the current chunk to retrieve past chunks for subsequent text generation. Our innovation allows the retriever to learn how to retrieve past chunks that better minimize the auto-regressive loss of subsequent tokens in an end-to-end manner. By integrating top-$k$ retrieval, our model can be pre-trained efficiently from scratch with context lengths up to 64K tokens. Our experiments show our model, compared with long-range LM baselines, can achieve lower perplexity with comparable or lower pre-training and inference costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google