Can Graph Descriptive Order Affect Solving Graph Problems with LLMs?

要約

大規模言語モデル (LLM) は、数学的推論や論理的演繹を含む推論タスクで大きな成功を収めています。
これらの推論タスクの中でも、グラフ問題はその複雑さと独特の構造的特徴から際立っており、研究者から大きな注目を集めています。
これまでの研究では、グラフ構造のさまざまなエンコード方法や慎重に設計されたプロンプトの使用など、さまざまな手法を通じて LLM のグラフ推論能力が調査されてきました。
しかし、重要な要素はほとんど見落とされてきました。それは、グラフの説明がモデルに提示されるプロンプトの連続順序です。
この研究では、グラフの記述の順序が LLM のパフォーマンスにどのような影響を与えるかについての最初の包括的な分析を示します。
具体的には、6 つの主流 LLM を使用して、6 つのグラフ問題にわたって 4 つのグラフ記述順序を包括的に評価します。
その結果、次のことが明らかになりました。(1) 順序付けられたグラフ記述により、LLM のグラフ構造の理解が大幅に向上します。
(2) グラフの記述順序に対する LLM の堅牢性は、タスクごとに異なります。
(3) グラフの順序がパフォーマンスに与える影響は、タスクの固有の特性と密接に関係しています。
この研究は、グラフ関連の問題を解決するための LLM のアプリケーションに重要な進歩をもたらし、戦略的なグラフ記述の順序付けを通じてモデルのパフォーマンスを最適化する将来の研究への道を開きます。

要約(オリジナル)

Large language models (LLMs) have achieved significant success in reasoning tasks, including mathematical reasoning and logical deduction. Among these reasoning tasks, graph problems stand out due to their complexity and unique structural characteristics, attracting considerable attention from researchers. Previous studies have explored LLMs’ graph reasoning abilities through various techniques, such as different encoding methods for graph structures and the use of carefully designed prompts. However, a critical factor has been mostly overlooked: the prompt sequential order in which graph descriptions are presented to the models. In this study, we present the first comprehensive analysis of how the order of graph descriptions impacts LLM performance. Specifically, we comprehensively evaluate four graph description orders across six graph problems using six mainstream LLMs. The results reveal that: (1) ordered graph descriptions significantly improve LLMs’ comprehension of graph structures; (2) the robustness of LLMs to graph description order varies across different tasks; and (3) the impact of graph order on performance is closely related to the inherent characteristics of tasks. This study provides a critical advancement in the application of LLMs for solving graph-related problems, paving the way for future research to optimize model performance through strategic graph description ordering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google