Recursive Decomposition with Dependencies for Generic Divide-and-Conquer Reasoning

要約

推論タスクは、多くのドメイン、特に科学と工学において重要です。
大規模な言語モデル（LLM）は、考え方や最も少ないプロンプトなどの手法を使用して、推論タスクを進歩させていますが、これらのアプローチは、パフォーマンスまたは実行時間のいずれにおいても複雑な問題に効果的に拡大していません。
さらに、コンテキスト内の例など、新しいタスクごとに追加の監督が必要になることがよくあります。
この作業では、依存関係（RDD）を使用した再帰分解を導入します。これは、以前のアプローチよりも少ない監督を必要とする推論問題を解決するためのスケーラブルな分割統合方法です。
私たちの方法は、タスク固有のガイダンスがない場合でも、新しい問題クラスに直接適用できます。
さらに、RDDはサブタスクの依存関係をサポートし、サブタスクの順序付けられた実行と、以前のステップで行われた間違いを修正できるエラー回復メカニズムを可能にします。
それぞれ6つの難易度レベルを持つ2つのベンチマークで、2つのコンテキスト内設定でアプローチを評価します。
我々の結果は、RDDがタスクの複雑さが増加するにつれて、コンピューティングマッチの設定で他のメソッドを上回るが、計算上効率的であることを示しています。

要約(オリジナル)

Reasoning tasks are crucial in many domains, especially in science and engineering. Although large language models (LLMs) have made progress in reasoning tasks using techniques such as chain-of-thought and least-to-most prompting, these approaches still do not effectively scale to complex problems in either their performance or execution time. Moreover, they often require additional supervision for each new task, such as in-context examples. In this work, we introduce Recursive Decomposition with Dependencies (RDD), a scalable divide-and-conquer method for solving reasoning problems that requires less supervision than prior approaches. Our method can be directly applied to a new problem class even in the absence of any task-specific guidance. Furthermore, RDD supports sub-task dependencies, allowing for ordered execution of sub-tasks, as well as an error recovery mechanism that can correct mistakes made in previous steps. We evaluate our approach on two benchmarks with six difficulty levels each and in two in-context settings: one with task-specific examples and one without. Our results demonstrate that RDD outperforms other methods in a compute-matched setting as task complexity increases, while also being more computationally efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google