A Schema-Guided Reason-while-Retrieve framework for Reasoning on Scene Graphs with Large-Language-Models (LLMs)

要約

シーングラフは、大きな言語モデル（LLM）を使用した接地された空間推論のための構造化されたシリアル化可能な環境表現として登場しました。
この作業では、SG-RWRを提案します。SG-RWRは、シーングラフを使用した推論と計画のために、スキーマガイド付きのリリースの回復フレームワークであることを提案します。
私たちのアプローチでは、2つの協同組合のコードライティングLLMエージェントを採用しています。A（1）タスク計画と情報クエリの生成の推論と、クエリ後に対応するグラフ情報を抽出するための（2）レトリバー。
2人のエージェントが繰り返し協力して、グラフ情報に順次推論と適応的な注意を喚起します。
以前の作品とは異なり、両方のエージェントは、完全なグラフデータではなくシーングラフスキーマでのみプロンプトされます。これにより、入力トークンを制限することで幻覚が減少し、推論のトレースを抽象的に生成するように促進されます。
スキーマの理解に基づいたグラフデータ。推論と検索のアラインメントを強化するグラフに動的かつグローバルな注意を払うことができます。
複数のシミュレーション環境での実験を通じて、私たちのフレームワークは、数値Q \＆Aおよび計画タスクの既存のLLMベースのアプローチを上回り、エージェントレベルのデモがない場合でも、タスクレベルの少数の例の例から恩恵を受けることができます。
プロジェクトコードがリリースされます。

要約(オリジナル)

Scene graphs have emerged as a structured and serializable environment representation for grounded spatial reasoning with Large Language Models (LLMs). In this work, we propose SG-RwR, a Schema-Guided Retrieve-while-Reason framework for reasoning and planning with scene graphs. Our approach employs two cooperative, code-writing LLM agents: a (1) Reasoner for task planning and information queries generation, and a (2) Retriever for extracting corresponding graph information following the queries. Two agents collaborate iteratively, enabling sequential reasoning and adaptive attention to graph information. Unlike prior works, both agents are prompted only with the scene graph schema rather than the full graph data, which reduces the hallucination by limiting input tokens, and drives the Reasoner to generate reasoning trace abstractly.Following the trace, the Retriever programmatically query the scene graph data based on the schema understanding, allowing dynamic and global attention on the graph that enhances alignment between reasoning and retrieval. Through experiments in multiple simulation environments, we show that our framework surpasses existing LLM-based approaches in numerical Q\&A and planning tasks, and can benefit from task-level few-shot examples, even in the absence of agent-level demonstrations. Project code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google