Graph of Thoughts: Solving Elaborate Problems with Large Language Models

要約

Graph of Thoughts (GoT) を紹介します。これは、Chain-of-Thought や Tree of Thoughts (ToT) などのパラダイムによって提供されるものを超えて、大規模言語モデル (LLM) のプロンプト機能を進化させるフレームワークです。
GoT の重要なアイデアと主な利点は、LLM によって生成された情報を任意のグラフとしてモデル化できることです。ここで、情報の単位 (「LLM 思考」) は頂点であり、エッジはこれらの頂点間の依存関係に対応します。
このアプローチにより、任意の LLM 思考を組み合わせて相乗効果をもたらしたり、思考ネットワーク全体の本質を抽出したり、フィードバック ループを使用して思考を強化したりすることが可能になります。
GoT はさまざまなタスクにおいて最先端技術に比べて利点があり、たとえばソートの品質が ToT よりも 62% 向上し、同時にコストが 31% 以上削減されることを示します。
GoT は新しい思考の変換によって拡張可能であるため、新しいプロンプト スキームの先頭に立つために使用できることを保証します。
この研究により、LLM 推論は、複雑なネットワークを形成する人間の思考や再発などの脳のメカニズムに近づきます。

要約(オリジナル)

We introduce Graph of Thoughts (GoT): a framework that advances prompting capabilities in large language models (LLMs) beyond those offered by paradigms such as Chain-of-Thought or Tree of Thoughts (ToT). The key idea and primary advantage of GoT is the ability to model the information generated by an LLM as an arbitrary graph, where units of information (‘LLM thoughts’) are vertices, and edges correspond to dependencies between these vertices. This approach enables combining arbitrary LLM thoughts into synergistic outcomes, distilling the essence of whole networks of thoughts, or enhancing thoughts using feedback loops. We illustrate that GoT offers advantages over state of the art on different tasks, for example increasing the quality of sorting by 62% over ToT, while simultaneously reducing costs by >31%. We ensure that GoT is extensible with new thought transformations and thus can be used to spearhead new prompting schemes. This work brings the LLM reasoning closer to human thinking or brain mechanisms such as recurrence, both of which form complex networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google