Decomposed Prompting: A Modular Approach for Solving Complex Tasks

要約

タイトル：複雑なタスクを解決するための分解プロンプティング：モジュラーなアプローチ

要約：
– Large Language Models（LLM）を使用したフューションプロンプティングは、さまざまなタスクを解決するための驚くべき方法である。
– ただし、タスクの複雑さが増すと、またはタスク自体の個々の推論ステップが学習が難しい場合には、このアプローチで苦戦することがある。特に、より複雑なタスクに組み込まれた場合には。
– これを解決するために、提案されたのが「分解プロンプティング」であり、タスクを分解して、それらを単純なサブタスクに分割して、それらのサブタスクを専用のプロンプティングベースのLLMライブラリに委任することで、複雑なタスクを解決する方法である。
– このモジュラーな構造により、各プロンプトはそれぞれのサブタスクに最適化され、必要に応じてさらに分解され、より効果的なプロンプト、トレーニングモデル、またはシンボリック関数に簡単に置き換えることができる。
– 分解プロンプティングの柔軟性とモジュラリティにより、GPT3を使用したフューションプロンプティングに関するこれまでの研究を上回る結果を残すことができる。
– シンボリック推論タスクでは、LLMにとって難しいサブタスクをさらに単純な解決可能なサブタスクに分解することができる。
– 入力長さが複雑さの原因の場合、タスクを再帰的に同じタスクに分解して、入力を小さくすることができる。
– テキストベースのマルチステップ推論タスクでもこのアプローチを評価された。長い文脈を持つマルチホップQAタスクでは、分離されたサブタスクプロンプトを使用することで、より効果的にサブタスクを教えることができ、オープンドメインマルチホップQAでも、分解フレームワーク内にシンボリック情報検索を組み込むことにより、両方のタスクのパフォーマンスが向上する。そのプロンプトやコードは、https://github.com/allenai/DecomPにある。

要約(オリジナル)

Few-shot prompting is a surprisingly powerful way to use Large Language Models (LLMs) to solve various tasks. However, this approach struggles as the task complexity increases or when the individual reasoning steps of the task themselves are hard to learn, especially when embedded in more complex tasks. To address this, we propose Decomposed Prompting, a new approach to solve complex tasks by decomposing them (via prompting) into simpler sub-tasks that can be delegated to a library of prompting-based LLMs dedicated to these sub-tasks. This modular structure allows each prompt to be optimized for its specific sub-task, further decomposed if necessary, and even easily replaced with more effective prompts, trained models, or symbolic functions if desired. We show that the flexibility and modularity of Decomposed Prompting allows it to outperform prior work on few-shot prompting using GPT3. On symbolic reasoning tasks, we can further decompose sub-tasks that are hard for LLMs into even simpler solvable sub-tasks. When the complexity comes from the input length, we can recursively decompose the task into the same task but with smaller inputs. We also evaluate our approach on textual multi-step reasoning tasks: on long-context multi-hop QA task, we can more effectively teach the sub-tasks via our separate sub-tasks prompts; and on open-domain multi-hop QA, we can incorporate a symbolic information retrieval within our decomposition framework, leading to improved performance on both tasks. Datasets, Code and Prompts available at https://github.com/allenai/DecomP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI