Graph Reasoning with Large Language Models via Pseudo-code Prompting

要約

大規模言語モデル (LLM) は、最近、自然言語処理の分野におけるさまざまな推論タスクで目覚ましい成功を収めています。
LLM のこの成功により、グラフ関連のタスクで LLM を使用する動機にもなりました。
とりわけ、最近の研究では、グラフの接続されたコンポーネントの数を数えたり、2 つのノード間の最短経路距離を計算したりするなど、LLM がグラフの問題を解決できるかどうかが調査されています。
LLM は予備的なグラフ推論能力を備えていますが、一見単純な問題を解決するのに依然として苦労する可能性があります。
この論文では、疑似コード命令によるプロンプトがグラフ問題を解決する際の LLM のパフォーマンスを向上させることができるかどうかを調査します。
私たちの実験では、疑似コード命令を使用すると、一般に、考慮されているすべての LLM のパフォーマンスが向上することが実証されました。
グラフ、疑似コード プロンプト、評価コードは公開されています。

要約(オリジナル)

Large language models (LLMs) have recently achieved remarkable success in various reasoning tasks in the field of natural language processing. This success of LLMs has also motivated their use in graph-related tasks. Among others, recent work has explored whether LLMs can solve graph problems such as counting the number of connected components of a graph or computing the shortest path distance between two nodes. Although LLMs possess preliminary graph reasoning abilities, they might still struggle to solve some seemingly simple problems. In this paper, we investigate whether prompting via pseudo-code instructions can improve the performance of LLMs in solving graph problems. Our experiments demonstrate that using pseudo-code instructions generally improves the performance of all considered LLMs. The graphs, pseudo-code prompts, and evaluation code are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google