GATEAU: Selecting Influential Sample for Long Context Alignment

要約

非常に長いコンテキストを持つ命令を処理するために大規模な言語モデルを調整することについては、まだ十分に調査されていません。
以前の研究では、このようなデータセットの構築はアノテーターにとって困難な傾向があるため、長い命令に従うサンプルを合成することで利用可能なデータ量をスケールアップしようとしました。
ただし、データ品質を確保するための明確な戦略が欠如していると、低品質のサンプルが導入され、モデルのパフォーマンスが制限される可能性があります。
そこで、我々は、長距離の依存関係に富んだ影響力のあるサンプルを特定することで、長いコンテキストの整合性という独特の課題に対処する新しいフレームワークである GATEAU を提案します。
具体的には、GATEAU は、長距離依存関係によるターゲット応答の生成の難しさと、その依存関係による長い入力の理解の難しさの 2 つの重要な側面から長距離依存関係を測定します。
包括的な実験により、GATEAU は影響力のあるサンプルを効果的に特定し、これらの選択されたサンプルでトレーニングされたモデルは、より優れた命令追従能力と長期コンテキスト理解能力を示すことが示されました。

要約(オリジナル)

Aligning large language models to handle instructions with extremely long contexts has yet to be fully investigated. Previous studies attempt to scale up the available data volume by synthesizing long instruction-following samples, as constructing such a dataset tends to be challenging for annotators. However, a lack of a well-defined strategy for ensuring data quality may introduce low-quality samples and restrict the model performance. Thus, we propose GATEAU, a novel framework to address the unique challenge of long context alignment by identifying the influential samples enriched with long-range dependency relations. Specifically, GATEAU measures the long-range dependencies from two essential aspects: the difficulty of generating target responses due to the long-range dependencies, and the difficulty of understanding long inputs due to such dependencies. Comprehensive experiments indicate that GATEAU effectively identifies influential samples and the model trained on these selected samples exhibits better instruction-following and long-context understanding capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google