Branch-Solve-Merge Improves Large Language Model Evaluation and Generation

要約

大規模言語モデル (LLM) は、複雑なユーザー制約を満たすか、複数の側面や基準を考慮することを伴う、多面的な言語生成および評価タスクによく使用されます。
ただし、モデルの一貫性が欠如していたり​​、問題を計画して分解できなかったりするため、パフォーマンスが不十分になる可能性があります。
私たちは、このような困難な自然言語タスクに取り組むための大規模言語モデル プログラムであるブランチソルブマージ (BSM) を提案します (Schlag et al., 2023)。
これは、ベース LLM への特定のプロンプトでパラメータ化された分岐、解決、およびマージのモジュールで構成されます。
これら 3 つのモジュールは、タスクを複数の並列サブタスクに分解することを計画し、それらを個別に解決し、解決策をサブタスクに融合します。
私たちは、LLM 応答評価と制約付きテキスト生成のタスクにこの方法を適用し、Vicuna、LLaMA-2-chat、GPT-4 を含む複数の LLM を使用してその有効性を評価します。
BSM は、人間と LLM の一致を最大 26% 強化し、長さとペアごとの位置のバイアスを最大 50% 削減し、LLaMA2 チャットがほとんどのドメインで GPT-4 と同等かそれを上回るパフォーマンスを実現することにより、各 LLM の評価の正確性と一貫性を向上させます。
制約ストーリー生成タスクでは、BSM はストーリーの一貫性を向上させると同時に、制約満足度も 12% 向上させます。

要約(オリジナル)

Large Language Models (LLMs) are frequently used for multi-faceted language generation and evaluation tasks that involve satisfying intricate user constraints or taking into account multiple aspects and criteria. However, their performance can fall short, due to the model’s lack of coherence and inability to plan and decompose the problem. We propose Branch-Solve-Merge (BSM), a Large Language Model program (Schlag et al., 2023) for tackling such challenging natural language tasks. It consists of branch, solve, and merge modules that are parameterized with specific prompts to the base LLM. These three modules plan a decomposition of the task into multiple parallel sub-tasks, independently solve them, and fuse the solutions to the sub-tasks. We apply our method to the tasks of LLM response evaluation and constrained text generation and evaluate its effectiveness with multiple LLMs, including Vicuna, LLaMA-2-chat, and GPT-4. BSM improves the evaluation correctness and consistency for each LLM by enhancing human-LLM agreement by up to 26%, reducing length and pairwise position biases by up to 50%, and allowing LLaMA2-chat to match or outperform GPT-4 on most domains. On a constraint story generation task, BSM improves the coherence of stories while also improving constraint satisfaction by 12%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google