NExtLong: Toward Effective Long-Context Training without Long Documents

要約

拡張コンテキスト ウィンドウを備えた大規模言語モデル (LLM) は大幅に進歩しましたが、長いドキュメントが不足しているため、依然として課題が残っています。
既存の方法は、長いコンテキストのデータを合成する傾向がありますが、長期的な依存関係のモデリングを強化するための明確なメカニズムが欠けています。
この制限に対処するために、Negative document Extension を通じて長いコンテキスト データを合成するための新しいフレームワークである NExtLong を提案します。
NExtLong は、ドキュメントを複数のメタチャンクに分解し、事前トレーニング コーパスから取得したハード ネガティブ ディストラクターをインターリーブすることでコンテキストを拡張します。
このアプローチにより、モデルは長距離依存コンテキストと気が散るコンテンツを区別することが強制され、長距離依存関係をモデル化する機能が強化されます。
広範な実験により、NExtLong は、非合成の長いドキュメントでトレーニングされた既存のロングコンテキスト合成アプローチや主要なモデルと比較して、HELMET および RULER ベンチマークで大幅なパフォーマンス向上を達成することが実証されています。
これらの発見は、NExtLong が非合成の長いドキュメントへの依存を軽減し、高度なロングコンテキスト LLM を開発するための効果的なフレームワークとなる能力を強調しています。

要約(オリジナル)

Large language models (LLMs) with extended context windows have made significant strides yet remain a challenge due to the scarcity of long documents. Existing methods tend to synthesize long-context data but lack a clear mechanism to reinforce the long-range dependency modeling. To address this limitation, we propose NExtLong, a novel framework for synthesizing long-context data through Negative document Extension. NExtLong decomposes a document into multiple meta-chunks and extends the context by interleaving hard negative distractors retrieved from pretraining corpora. This approach compels the model to discriminate long-range dependent context from distracting content, enhancing its ability to model long-range dependencies. Extensive experiments demonstrate that NExtLong achieves significant performance improvements on the HELMET and RULER benchmarks compared to existing long-context synthesis approaches and leading models, which are trained on non-synthetic long documents. These findings highlight NExtLong’s ability to reduce reliance on non-synthetic long documents, making it an effective framework for developing advanced long-context LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google