Zero-Shot Generalization during Instruction Tuning: Insights from Similarity and Granularity

要約

アライメント技術を理解するには、命令チューニングによってもたらされるゼロショット汎化を理解することから始まりますが、そのメカニズムはほとんど理解されていません。
既存の作業は主にタスク レベルに限定されており、タスクが人為的に定義されており、LLM にとっては単にトークンと表現で構成されているということは考慮されていません。
この一連の研究は、タスクペアの観点からタスク間の転送を調べることに限定されており、データ自体の観点からゼロショット一般化を理解することに焦点を当てた研究はほとんどありません。
このギャップを埋めるために、まず、命令チューニング中のゼロショット汎化が非常に早い段階で発生することを複数のメトリクスを通じて実証します。
次に、データの類似性と粒度の両方の観点からゼロショット汎化の促進を調査し、定義された「タスク」の制約なしに、命令チューニングの早い段階で非常に類似した粒度の細かいトレーニング データに遭遇すると、より優れた汎化が可能になることを確認します。
最後に、より根拠のあるトレーニング データ配置方法であるテスト中心のマルチターン配置を提案し、継続的な学習とさ​​らなる損失削減を促進するその有効性を示します。
命令チューニング中のゼロショット一般化が、インスタンス レベルでのトレーニング データとテスト データの間の類似性に基づく一般化の一形態であることを初めて示します。
私たちの分析により、命令チューニング中のゼロショット汎化の理解が進み、より調整された LLM の開発に貢献することを願っています。
私たちのコードは https://github.com/HBX-hbx/dynamics_of_zero-shot_generalization でリリースされています。

要約(オリジナル)

Understanding alignment techniques begins with comprehending zero-shot generalization brought by instruction tuning, but little of the mechanism has been understood. Existing work has largely been confined to the task level, without considering that tasks are artificially defined and, to LLMs, merely consist of tokens and representations. This line of research has been limited to examining transfer between tasks from a task-pair perspective, with few studies focusing on understanding zero-shot generalization from the perspective of the data itself. To bridge this gap, we first demonstrate through multiple metrics that zero-shot generalization during instruction tuning happens very early. Next, we investigate the facilitation of zero-shot generalization from both data similarity and granularity perspectives, confirming that encountering highly similar and fine-grained training data earlier during instruction tuning, without the constraints of defined ‘tasks’, enables better generalization. Finally, we propose a more grounded training data arrangement method, Test-centric Multi-turn Arrangement, and show its effectiveness in promoting continual learning and further loss reduction. For the first time, we show that zero-shot generalization during instruction tuning is a form of similarity-based generalization between training and test data at the instance level. We hope our analysis will advance the understanding of zero-shot generalization during instruction tuning and contribute to the development of more aligned LLMs. Our code is released at https://github.com/HBX-hbx/dynamics_of_zero-shot_generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google