Weak-to-Strong Search: Align Large Language Models via Searching over Small Language Models

要約

大規模な言語モデルは通常、人間の好みに合わせて微調整されます。
ただし、大規模な言語モデルを微調整するのは困難な場合があります。
この研究では、$\textit{弱から強への検索}$ を導入し、大規模な言語モデルの調整をテスト時の貪欲な検索として枠組み化し、小規模な調整済みモデルと調整されていないモデル間の対数確率の差を最大化します。
冷凍された大型モデル。
この方法は、(1) 大規模なモデルの直接調整を回避する計算効率の高いモデルのアップスケーリング戦略として、および (2) 弱いテスト時間のガイダンスで強いモデルを強化する弱いから強いへの一般化のインスタンスとして機能します。
経験的に、さまざまなタスクにわたる弱から強への検索の柔軟性を実証しています。
制御された感情の生成と要約では、調整された $\texttt{gpt2}$s と調整されていない $\texttt{gpt2}$s を使用して、追加のトレーニングなしで大規模なモデルの位置合わせを改善します。
重要なのは、より困難な命令追従ベンチマークである AlpacaEval 2.0 では、既製の小型モデル ($\texttt{zephyr-7b-beta}$ とその調整されていないバージョンなど) を再利用することで長さ制御されたモデルを改善できることを示しています。
$\texttt{gpt-4-turbo}$ に対するホワイトボックスとブラックボックスの両方の大規模モデルの勝率 (例:
$\texttt{Llama-3-70B-Instruct}$ の場合は $34.4\% \rightarrow 37.9\%$、$\texttt{gpt-3.5-turbo-instruct}$ の場合は $16.0\% \rightarrow 20.1\%$)、にもかかわらず
小型モデルの低い勝率は $\約 10.0\%$ です。

要約(オリジナル)

Large language models are usually fine-tuned to align with human preferences. However, fine-tuning a large language model can be challenging. In this work, we introduce $\textit{weak-to-strong search}$, framing the alignment of a large language model as a test-time greedy search to maximize the log-probability difference between small tuned and untuned models while sampling from the frozen large model. This method serves both as (1) a compute-efficient model up-scaling strategy that avoids directly tuning the large model and as (2) an instance of weak-to-strong generalization that enhances a strong model with weak test-time guidance. Empirically, we demonstrate the flexibility of weak-to-strong search across different tasks. In controlled-sentiment generation and summarization, we use tuned and untuned $\texttt{gpt2}$s to improve the alignment of large models without additional training. Crucially, in a more difficult instruction-following benchmark, AlpacaEval 2.0, we show that reusing off-the-shelf small models (e.g., $\texttt{zephyr-7b-beta}$ and its untuned version) can improve the length-controlled win rates of both white-box and black-box large models against $\texttt{gpt-4-turbo}$ (e.g., $34.4\% \rightarrow 37.9\%$ for $\texttt{Llama-3-70B-Instruct}$ and $16.0\% \rightarrow 20.1\%$ for $\texttt{gpt-3.5-turbo-instruct}$), despite the small models’ low win rates $\approx 10.0\%$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google