Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping

要約

自己調整は、確実なモデル機能を確保しながら、人間によるアノテーションのコストを削減する効果的な方法です。
ただし、現在の手法のほとんどはデータ収集とトレーニングのステップを 1 回のラウンドで完了するため、自己整合モデルの継続的に向上する能力を見落としている可能性があります。
これにより、重要な疑問が生じます。「複数回のブートストラップ自己調整を実行したらどうなるでしょうか?」
この戦略はモデルのパフォーマンスを向上させますか、それとも急速な劣化につながりますか?
この論文では、私たちの先駆的な調査により、大規模な言語モデルに対するブートストラッピングの自己調整の影響を詳しく掘り下げています。
私たちの調査結果は、ブートストラッピングによる自己調整が、コンテキスト内学習によるデータの多様性を保証することにより、シングルラウンドのアプローチを著しく上回っていることを明らかにしています。
ブートストラップの機能をさらに活用するために、データのトレーニング順序を調査して調整し、モデルのパフォーマンスを向上させます。
これらの発見に基づいて、モデルの継続的に強化された少数ショット能力を活用してゼロショットまたはワンショットのパフォーマンスを向上させるステップオンフィートチューニング (SOFT) を提案します。
イージーからハードまでのトレーニングレシピをベースに、セルフアライメントのパフォーマンスをさらに高めるSOFT+を提案します。
私たちの実験は、さまざまな分類および生成タスクにわたる SOFT (SOFT+) の効率を実証し、モデル アライメントのパフォーマンスを継続的に向上させるブートストラップ自己アライメントの可能性を強調しています。

要約(オリジナル)

Self-alignment is an effective way to reduce the cost of human annotation while ensuring promising model capability. However, most current methods complete the data collection and training steps in a single round, which may overlook the continuously improving ability of self-aligned models. This gives rise to a key query: What if we do multi-time bootstrapping self-alignment? Does this strategy enhance model performance or lead to rapid degradation? In this paper, our pioneering exploration delves into the impact of bootstrapping self-alignment on large language models. Our findings reveal that bootstrapping self-alignment markedly surpasses the single-round approach, by guaranteeing data diversity from in-context learning. To further exploit the capabilities of bootstrapping, we investigate and adjust the training order of data, which yields improved performance of the model. Drawing on these findings, we propose Step-On-Feet Tuning (SOFT) which leverages model’s continuously enhanced few-shot ability to boost zero or one-shot performance. Based on easy-to-hard training recipe, we propose SOFT+ which further boost self-alignment’s performance. Our experiments demonstrate the efficiency of SOFT (SOFT+) across various classification and generation tasks, highlighting the potential of bootstrapping self-alignment on continually enhancing model alignment performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google