I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm

要約

大規模言語モデル (LLM) は大幅な進歩を遂げていますが、一般的な学習パラダイムでは LLM を受動的な情報リポジトリとして扱い、能動的な学習と調整の可能性を無視しています。
一部のアプローチでは、独自に生成された合成データを使用して LLM をトレーニングし、アクティブ アラインメントの可能性を探ります。
しかし、これらの 1 回限りの位置合わせ方法と、人間による継続的な自動位置合わせとの間には、依然として大きな隔たりがあります。
この論文では、\textbf{I}terative \textbf{S}elf-En\textbf{H}anc\textbf{E}m\textbf{E}nt \textbf{ である \textbf{I-SHEEP} を紹介します。
P}aradigm.この人間のようなパラダイムにより、LLM は \textbf{何も使わずにゼロから継続的に自己調整} することができます。
この論文の最初の反復に言及するワンタイム アライメント メソッドである Dromedary \cite{sun2023principledriven} と比較して、I-SHEEP は Qwen モデルと Llama モデルの両方で容量を大幅に強化できます。
I-SHEEP は、Qwen-1.5 72B モデルでの後続の反復で、Alpaca Eval で 78.2\%、MT Bench で 24.0\% の最大相対向上、および IFEval 精度の絶対的な 8.88\% の向上を達成しました。
さらに、I-SHEEP はさまざまな標準ベンチマーク生成タスクで基本モデルを上回り、コード生成タスクで 24.77\%、TrivialQA で 12.04\%、SQuAD で 20.29\% の平均改善を達成しました。
実験結果に基づいた新たな知見も提供します。
私たちのコード、データセット、モデルは \textbf{https://anonymous.4open.science/r/I-SHEEP} で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have achieved significant advancements, however, the common learning paradigm treats LLMs as passive information repositories, neglecting their potential for active learning and alignment. Some approaches train LLMs using their own generated synthetic data, exploring the possibility of active alignment. However, there is still a huge gap between these one-time alignment methods and the continuous automatic alignment of humans. In this paper, we introduce \textbf{I-SHEEP}, an \textbf{I}terative \textbf{S}elf-En\textbf{H}anc\textbf{E}m\textbf{E}nt \textbf{P}aradigm.This human-like paradigm enables LLMs to \textbf{continuously self-align from scratch with nothing}. Compared to the one-time alignment method Dromedary \cite{sun2023principledriven}, which refers to the first iteration in this paper, I-SHEEP can significantly enhance capacities on both Qwen and Llama models. I-SHEEP achieves a maximum relative improvement of 78.2\% in the Alpaca Eval, 24.0\% in the MT Bench, and an absolute increase of 8.88\% in the IFEval accuracy over subsequent iterations in Qwen-1.5 72B model. Additionally, I-SHEEP surpasses the base model in various standard benchmark generation tasks, achieving an average improvement of 24.77\% in code generation tasks, 12.04\% in TrivialQA, and 20.29\% in SQuAD. We also provide new insights based on the experiment results. Our codes, datasets, and models are available at \textbf{https://anonymous.4open.science/r/I-SHEEP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google