Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization

要約

大規模言語モデル (LLM) は、ユーザーの質問への応答において大きな進歩を示し、多数の多様なアプリケーションを可能にしました。
ただし、LLM 出力の品質はプロンプトの設計に大きく依存します。適切なプロンプトにより、LLM は非常に難しい質問に正しく答えることができます。
したがって、最近の研究では、手動作成とドメイン内最適化の両方を含む、プロンプトを改善するための多くの戦略が開発されました。
ただし、前者は特定の質問に対する人間の設計に依存し、後者は通常、目に見えないシナリオにあまり一般化しないため、制限のないシナリオにおけるそれらの有効性には疑問が残ります。
これらの問題に対処するために、LLM が自分たちに応じて最適なプロンプトを自由に設計できるようにします。
具体的には、LLM の階層を組み込み、まず正確な指示と正確な表現を含むプロンプトを階層的に構築し、次にこのプロンプトを使用してユーザー クエリに対する最終的な回答を生成します。
このパイプラインを階層型マルチエージェント ワークフロー (HMAW) と呼びます。
これまでの作品とは対照的に、HMAW は人間による制限やトレーニングを必要とせず、完全にタスクに依存せず、基礎となるタスクの微妙な違いに合わせて調整することができます。
複数のベンチマークにわたる定量的および定性的な実験の両方を通じて、提案されたアプローチがその単純さにもかかわらず、詳細かつ適切なプロンプトを作成し、現在の LLM のパフォーマンスをさらに向上させることができることを検証します。

要約(オリジナル)

Large language models (LLMs) have shown great progress in responding to user questions, allowing for a multitude of diverse applications. Yet, the quality of LLM outputs heavily depends on the prompt design, where a good prompt might enable the LLM to answer a very challenging question correctly. Therefore, recent works have developed many strategies for improving the prompt, including both manual crafting and in-domain optimization. However, their efficacy in unrestricted scenarios remains questionable, as the former depends on human design for specific questions and the latter usually generalizes poorly to unseen scenarios. To address these problems, we give LLMs the freedom to design the best prompts according to themselves. Specifically, we include a hierarchy of LLMs, first constructing a prompt with precise instructions and accurate wording in a hierarchical manner, and then using this prompt to generate the final answer to the user query. We term this pipeline Hierarchical Multi-Agent Workflow, or HMAW. In contrast with prior works, HMAW imposes no human restriction and requires no training, and is completely task-agnostic while capable of adjusting to the nuances of the underlying task. Through both quantitative and qualitative experiments across multiple benchmarks, we verify that despite its simplicity, the proposed approach can create detailed and suitable prompts, further boosting the performance of current LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google