Optimal Scene Graph Planning with Large Language Model Guidance

要約

計量マッピング、意味論的マッピング、およびトポロジカル マッピングの最近の進歩により、自律型ロボットに自然言語タスクを解釈するための意味論的概念基盤機能が装備されました。
この研究の目的は、階層型メトリクス セマンティック モデルの効率的なタスク計画アルゴリズムでこれらの新機能を活用することです。
環境のシーン グラフ表現を検討し、大規模言語モデル (LLM) を利用して自然言語タスクを線形時相論理 (LTL) オートマトンに変換します。
私たちの主な貢献は、シーン グラフに対する LLM ガイダンスによる最適な階層 LTL プランニングを可能にすることです。
効率を達成するために、シーン グラフとタスク オートマトンの属性と接続性をキャプチャする階層的な計画ドメインを構築し、LLM ヒューリスティック関数を介してセマンティック ガイダンスを提供します。
最適性を保証するために、一貫性が証明され、マルチヒューリスティック計画において許容できない可能性がある LLM ガイダンスを補完する LTL ヒューリスティック関数を設計します。
仮想化された実環境のシーン グラフで、複雑な自然言語タスクの効率的な計画を実証します。

要約(オリジナル)

Recent advances in metric, semantic, and topological mapping have equipped autonomous robots with semantic concept grounding capabilities to interpret natural language tasks. This work aims to leverage these new capabilities with an efficient task planning algorithm for hierarchical metric-semantic models. We consider a scene graph representation of the environment and utilize a large language model (LLM) to convert a natural language task into a linear temporal logic (LTL) automaton. Our main contribution is to enable optimal hierarchical LTL planning with LLM guidance over scene graphs. To achieve efficiency, we construct a hierarchical planning domain that captures the attributes and connectivity of the scene graph and the task automaton, and provide semantic guidance via an LLM heuristic function. To guarantee optimality, we design an LTL heuristic function that is provably consistent and supplements the potentially inadmissible LLM guidance in multi-heuristic planning. We demonstrate efficient planning of complex natural language tasks in scene graphs of virtualized real environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google