Demystifying Chains, Trees, and Graphs of Thoughts

要約

自然言語処理 (NLP) の分野は近年大幅な進歩を遂げており、革新的なプロンプト手法による大規模言語モデル (LLM) のパフォーマンスの向上に特に重点が置かれています。
その中でも、構造と組み合わせたプロンプト エンジニアリングが有望なパラダイムとして浮上しており、思考連鎖、思考のツリー、思考のグラフなどの設計が行われており、LLM 推論全体がグラフなどの構造によって導かれます。
多数の例で示されているように、このパラダイムは、論理的または数学的推論から計画や創造的な執筆に至るまで、多数のタスクを解決する LLM の能力を大幅に強化します。
この成長分野の理解を促進し、将来の開発への道を開くために、私たちは効果的かつ効率的な LLM 推論スキームの一般的な青写真を考案します。
このために、プロンプト実行パイプラインの詳細な分析を実施し、さまざまな概念を明確にして明確に定義します。
次に、構造強化された LLM 推論スキームの最初の分類を構築します。
私たちは、利用された構造の基本的なクラスを特定することに重点を置き、これらの構造の表現、これらの構造で実行されるアルゴリズム、その他多くのものを分析します。
これらの構造は LLM コンテキスト内に含まれるため、表現がある程度空間的になるため、これらの構造を推論トポロジーと呼びます。
私たちの研究では、提案された分類法を使用して既存のプロンプトスキームを比較し、特定の設計の選択がどのようにパフォーマンスとコストの異なるパターンにつながるかを議論しています。
また、理論的基礎、プロンプトと知識ベースなどの LLM エコシステムの他の部分との関係、および関連する研究課題についても概説します。
私たちの取り組みは、将来の迅速なエンジニアリング技術の進歩に役立ちます。

要約(オリジナル)

The field of natural language processing (NLP) has witnessed significant progress in recent years, with a notable focus on improving large language models’ (LLM) performance through innovative prompting techniques. Among these, prompt engineering coupled with structures has emerged as a promising paradigm, with designs such as Chain-of-Thought, Tree of Thoughts, or Graph of Thoughts, in which the overall LLM reasoning is guided by a structure such as a graph. As illustrated with numerous examples, this paradigm significantly enhances the LLM’s capability to solve numerous tasks, ranging from logical or mathematical reasoning to planning or creative writing. To facilitate the understanding of this growing field and pave the way for future developments, we devise a general blueprint for effective and efficient LLM reasoning schemes. For this, we conduct an in-depth analysis of the prompt execution pipeline, clarifying and clearly defining different concepts. We then build the first taxonomy of structure-enhanced LLM reasoning schemes. We focus on identifying fundamental classes of harnessed structures, and we analyze the representations of these structures, algorithms executed with these structures, and many others. We refer to these structures as reasoning topologies, because their representation becomes to a degree spatial, as they are contained within the LLM context. Our study compares existing prompting schemes using the proposed taxonomy, discussing how certain design choices lead to different patterns in performance and cost. We also outline theoretical underpinnings, relationships between prompting and other parts of the LLM ecosystem such as knowledge bases, and the associated research challenges. Our work will help to advance future prompt engineering techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google