Pseudocode-Injection Magic: Enabling LLMs to Tackle Graph Computational Tasks

要約

グラフ計算タスクは本質的に挑戦的であり、多くの場合、効果的なソリューションのために高度なアルゴリズムの開発を要求します。
大規模な言語モデル（LLMS）の出現により、研究者はこれらのタスクに対処する可能性を調査し始めました。
ただし、既存のアプローチは、複雑なグラフ構造とその高い推論コストを理解するLLMSの限られた機能によって制約されているため、大規模なグラフを処理するためにそれらを非現実的にします。
グラフの問題への人間のアプローチに触発されて、新しいフレームワーク、パイ（グラフ計算タスクの擬似コードインジェクション強化LLM推論）を​​紹介します。
このフレームワークでは、LLMSは問題を理解し、関連情報を抽出して正しいコードを生成することを任されています。
グラフ構造を分析してコードを実行する責任は、通訳に委任されます。
効率的なコードを生成する際にLLMSをさらに支援するために、タスク関連の擬似コードをプロンプトに注入します。
また、費用対効果の高い試行錯誤技術を採用して、LLMで生成されたコードが正しく実行されるようにします。
個々のテストケースごとにLLMを呼び出す必要がある他のメソッドとは異なり、PIEはコード生成フェーズ中にLLMのみを呼び出し、生成されたコードを再利用し、推論コストを大幅に削減します。
広範な実験は、PIEが精度と計算効率の両方の点で既存のベースラインを上回ることを示しています。

要約(オリジナル)

Graph computational tasks are inherently challenging and often demand the development of advanced algorithms for effective solutions. With the emergence of large language models (LLMs), researchers have begun investigating their potential to address these tasks. However, existing approaches are constrained by LLMs’ limited capability to comprehend complex graph structures and their high inference costs, rendering them impractical for handling large-scale graphs. Inspired by human approaches to graph problems, we introduce a novel framework, PIE (Pseudocode-Injection-Enhanced LLM Reasoning for Graph Computational Tasks), which consists of three key steps: problem understanding, prompt design, and code generation. In this framework, LLMs are tasked with understanding the problem and extracting relevant information to generate correct code. The responsibility for analyzing the graph structure and executing the code is delegated to the interpreter. We inject task-related pseudocodes into the prompts to further assist the LLMs in generating efficient code. We also employ cost-effective trial-and-error techniques to ensure that the LLM-generated code executes correctly. Unlike other methods that require invoking LLMs for each individual test case, PIE only calls the LLM during the code generation phase, allowing the generated code to be reused and significantly reducing inference costs. Extensive experiments demonstrate that PIE outperforms existing baselines in terms of both accuracy and computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google