Black-Box Prompt Optimization: Aligning Large Language Models without Model Training

要約

大規模言語モデル (LLM) は、さまざまなアプリケーションで目覚ましい成功を収めています。
ただし、これらのモデルは人間の意図とうまく一致していないことが多く、そのため追加の処理、つまり調整の問題が必要になります。
LLM がユーザーの指示によりよく従うようにするために、既存の調整方法は主に LLM をさらにトレーニングすることに重点を置いています。
ただし、LLM の追加トレーニングは通常、GPU コンピューティングの観点から高価になります。
さらに悪いことに、目的の LLM は、GPT などのユーザー要求のトレーニングにはアクセスできないことがよくあります。
この作業では、別の視点、ブラックボックス プロンプト最適化 (BPO) を採用して調整を実行します。
その考え方は、LLM のパラメータを更新せずにユーザーの意図を最大限に実現できるように、LLM の入力理解に合わせてユーザー プロンプトを最適化することです。
BPO はモデルに依存せず、BPO に調整された ChatGPT は元のバージョンと比較して勝率が 22\% 増加し、GPT-4 では 10\% 増加するという経験的結果が示されています。
重要なのは、\model に調整された LLM は、PPO および DPO によって調整された同じモデルよりも優れたパフォーマンスを発揮することができ、\model と PPO または DPO を組み合わせると、さらなるパフォーマンスの向上ももたらします。
コードとデータセットは https://github.com/thu-coai/BPO でリリースされます。

要約(オリジナル)

Large language models (LLMs) have shown impressive success in various applications. However, these models are often not well aligned with human intents, which calls for additional treatments on them, that is, the alignment problem. To make LLMs better follow user instructions, existing alignment methods mostly focus on further training them. However, the extra training of LLMs are usually expensive in terms of GPU compute; worse still, LLMs of interest are oftentimes not accessible for user-demanded training, such as GPTs. In this work, we take a different perspective — Black-Box Prompt Optimization (BPO) — to perform alignments. The idea is to optimize user prompts to suit LLMs’ input understanding, so as to best realize users’ intents without updating LLMs’ parameters. BPO is model-agnostic and the empirical results demonstrate that the BPO-aligned ChatGPT yields a 22\% increase in the win rate against its original version, and 10\% for GPT-4. Importantly, the \model-aligned LLMs can outperform the same models aligned by PPO and DPO, and it also brings additional performance gains when combining \model with PPO or DPO. Code and datasets are released at https://github.com/thu-coai/BPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google