The Right Time Matters: Data Arrangement Affects Zero-Shot Generalization in Instruction Tuning

要約

アライメントテクニックの理解は、指導の調整によってもたらされるゼロショットの一般化を理解することから始まりますが、メカニズムはほとんど理解されていません。
既存の作業は、タスクが人為的に定義されていることを考慮せずにタスクレベルに限定されており、LLMには単にトークンと表現で構成されています。
このギャップを埋めるために、データ自体の観点からゼロショットの一般化を調査します。
最初に、ゼロショットの一般化が指導の調整中に非常に早期に発生し、損失が安定した指標として機能することを実証します。
次に、特定のトレーニングの例への露出のタイミングが目に見えないタスクの一般化を大幅に促進する可能性があることを確認することで、類似性と粒度の観点を通じてトレーニングデータの配置を調査します。
最後に、より根拠のあるトレーニングデータの配置フレームワーク、テスト中心のマルチターン配置を提案し、継続的な学習とさ​​らなる損失削減を促進する上でその有効性を示します。
初めて、指導チューニング中のゼロショット一般化は、インスタンスレベルでのトレーニングとテストデータの間の類似性に基づいた一般化の一形態であることを示します。
私たちのコードは、https：//github.com/thunlp/dynamics-of-zero-shot-generalizationでリリースされています。

要約(オリジナル)

Understanding alignment techniques begins with comprehending zero-shot generalization brought by instruction tuning, but little of the mechanism has been understood. Existing work has largely been confined to the task level, without considering that tasks are artificially defined and, to LLMs, merely consist of tokens and representations. To bridge this gap, we investigate zero-shot generalization from the perspective of the data itself. We first demonstrate that zero-shot generalization happens very early during instruction tuning, with loss serving as a stable indicator. Next, we investigate training data arrangement through similarity and granularity perspectives, confirming that the timing of exposure to certain training examples may greatly facilitate generalization on unseen tasks. Finally, we propose a more grounded training data arrangement framework, Test-centric Multi-turn Arrangement, and show its effectiveness in promoting continual learning and further loss reduction. For the first time, we show that zero-shot generalization during instruction tuning is a form of similarity-based generalization between training and test data at the instance level. Our code is released at https://github.com/thunlp/Dynamics-of-Zero-Shot-Generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google