GATEAU: Selecting Influential Samples for Long Context Alignment

要約

非常に長いコンテキストで命令を処理するために大きな言語モデルを調整することは、まだ完全に調査されていません。
以前の研究では、そのようなデータセットを構築することはアノテーターにとって挑戦的である傾向があるため、長い命令に従うサンプルを合成することにより、利用可能なデータボリュームを拡大しようとします。
ただし、データ品質を確保するための明確に定義された戦略がないため、低品質のサンプルが導入され、モデルのパフォーマンスが制限される場合があります。
したがって、長距離依存関係で豊富な影響力のあるサンプルを識別することにより、長いコンテキストアラインメントのユニークな課題に対処するための新しいフレームワークであるGateauを提案します。
具体的には、Gateauは2つの重要な側面から長距離依存関係を測定します。長距離依存関係によるターゲット応答を生成することの難しさと、そのような依存関係による長い入力を理解することの難しさです。
包括的な実験では、Gateauが影響力のあるサンプルを効果的に特定し、これらの選択されたサンプルで訓練されたモデルが、より良い指導に従った長期的理解能力を示すことを示しています。

要約(オリジナル)

Aligning large language models to handle instructions with extremely long contexts has yet to be fully investigated. Previous studies attempt to scale up the available data volume by synthesizing long instruction-following samples, as constructing such a dataset tends to be challenging for annotators. However, a lack of a well-defined strategy for ensuring data quality may introduce low-quality samples and restrict the model performance. Thus, we propose GATEAU, a novel framework to address the unique challenge of long context alignment by identifying the influential samples enriched with long-range dependency relations. Specifically, GATEAU measures the long-range dependencies from two essential aspects: the difficulty of generating target responses due to the long-range dependencies, and the difficulty of understanding long inputs due to such dependencies. Comprehensive experiments indicate that GATEAU effectively identifies influential samples and the model trained on these selected samples exhibits better instruction-following and long-context understanding capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google