Synthetic continued pretraining

要約

大規模な非構造化インターネット テキストでの事前トレーニングにより、言語モデルが大量の世界知識を獲得できるようになりました。
ただし、この知識の獲得はデータ効率が悪く、特定の事実を学習するには、その事実の数百から数千の多様な表現でモデルをトレーニングする必要があります。
これは、各ファクトがめったにまたは 1 回しか出現しない可能性があるドメイン固有の文書の小さなコーパスに事前トレーニング済みモデルを適応させるときに課題を引き起こします。
私たちは、このギャップを合成の継続的事前トレーニングで埋めることを提案します。つまり、ドメイン固有の小さなコーパスを使用して、学習に適した大きなコーパスを合成し、その後、合成されたコーパスに対して継続的事前トレーニングを実行します。
この提案は、ソース文書から顕著なエンティティを抽出し、サンプリングされたエンティティ間の接続を描画することによって多様なテキストを生成する合成データ拡張アルゴリズムである EntiGraph を使用してインスタンス化されます。
EntiGraph を使用した合成の継続的な事前トレーニングにより、言語モデルはソース ドキュメントにアクセスせずに質問に答え、ソース ドキュメントに関連する一般的な指示に従うことができます。
代わりに、ソース文書が推論時に利用可能である場合、私たちのアプローチを通じて取得された知識が検索拡張生成と組み合わされることを示します。
これらの結果をより深く理解するために、EntiGraph の単純な数学モデルを構築し、合成データ拡張によって知識を「再配置」して、よりデータ効率の高い学習を可能にする方法を示します。

要約(オリジナル)

Pretraining on large-scale, unstructured internet text has enabled language models to acquire a significant amount of world knowledge. However, this knowledge acquisition is data-inefficient — to learn a given fact, models must be trained on hundreds to thousands of diverse representations of it. This poses a challenge when adapting a pretrained model to a small corpus of domain-specific documents, where each fact may appear rarely or only once. We propose to bridge this gap with synthetic continued pretraining: using the small domain-specific corpus to synthesize a large corpus more amenable to learning, and then performing continued pretraining on the synthesized corpus. We instantiate this proposal with EntiGraph, a synthetic data augmentation algorithm that extracts salient entities from the source documents and then generates diverse text by drawing connections between the sampled entities. Synthetic continued pretraining using EntiGraph enables a language model to answer questions and follow generic instructions related to the source documents without access to them. If instead, the source documents are available at inference time, we show that the knowledge acquired through our approach compounds with retrieval-augmented generation. To better understand these results, we build a simple mathematical model of EntiGraph, and show how synthetic data augmentation can ‘rearrange’ knowledge to enable more data-efficient learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google