InstructZero: Efficient Instruction Optimization for Black-Box Large Language Models

要約

大規模言語モデル (LLM) は命令フォロワーですが、特にバックプロパゲーションが禁止されているブラックボックス LLM の場合、さまざまな状況に最適な命令を見つけるのは困難な場合があります。
個別の命令を直接最適化する代わりに、オープンソース LLM に適用される低次元のソフト プロンプトを最適化し、ブラック ボックス LLM の命令を生成します。
InstructZero と呼ばれる提案されたメソッドを反復するたびに、ソフト プロンプトはオープンソース LLM を使用して命令に変換され、その後ゼロショット評価のためにブラックボックス LLM に送信され、パフォーマンスが送信されます。
新しいソフト プロンプトを生成するベイジアン最適化により、ゼロショットのパフォーマンスが向上します。
私たちは、Vicuna や ChatGPT などのオープンソース LLM と API のさまざまな組み合わせで InstructZero を評価します。
私たちの結果は、InstructZero がさまざまなダウンストリーム タスクにわたって SOTA 自動命令メソッドよりも優れたパフォーマンスを発揮することを示しています。
私たちのコードとデータは https://github.com/Lichang-Chen/InstructZero で公開されています。

要約(オリジナル)

Large language models~(LLMs) are instruction followers, but it can be challenging to find the best instruction for different situations, especially for black-box LLMs on which backpropagation is forbidden. Instead of directly optimizing the discrete instruction, we optimize a low-dimensional soft prompt applied to an open-source LLM to generate the instruction for the black-box LLM. On each iteration of the proposed method, which we call InstructZero, a soft prompt is converted into an instruction using the open-source LLM, which is then submitted to the black-box LLM for zero-shot evaluation, and the performance is sent to Bayesian optimization to produce new soft prompts improving the zero-shot performance. We evaluate InstructZero on different combinations of open-source LLMs and APIs including Vicuna and ChatGPT. Our results show that InstructZero outperforms SOTA auto-instruction methods across a variety of downstream tasks. Our code and data are publicly available at https://github.com/Lichang-Chen/InstructZero.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google