Ontology-driven Prompt Tuning for LLM-based Task and Motion Planning

要約

動的環境で複雑な操作タスクを実行するには、高レベルのシンボリック プランと低レベルのモーション プランニングを組み合わせた効率的なタスク アンド モーション プランニング (TAMP) アプローチが必要です。
GPT-4 などの大規模言語モデル (LLM) の進歩により、タスクを記述し、記号的な計画を生成し、推論する直感的かつ柔軟な方法として自然言語が提供されることで、タスク計画が変革されています。
ただし、LLM ベースの TAMP アプローチの有効性は、静的およびテンプレートベースのプロンプトにより制限されており、動的な環境や複雑なタスクのコンテキストに適応するのが困難です。
これらの制限に対処するために、この研究では、知識ベースの推論を採用し、タスクのコンテキスト推論と知識ベースの環境状態の説明によってユーザー プロンプトを洗練および拡張する、新しいオントロジー駆動のプロンプト チューニング フレームワークを提案します。
ドメイン固有の知識をプロンプトに統合することで、意味的に正確でコンテキストを認識したタスク プランが保証されます。
提案されたフレームワークは、階層オブジェクトの配置を含むシナリオで論理的な時間的目標の順序を維持するなど、シンボリック プラン生成におけるセマンティック エラーを解決することによってその有効性を実証します。
提案されたフレームワークは、シミュレーションと現実世界のシナリオの両方を通じて検証され、動的環境への適応性と意味的に正しいタスク プランの生成の点で、ベースライン アプローチに比べて大幅な改善が示されています。

要約(オリジナル)

Performing complex manipulation tasks in dynamic environments requires efficient Task and Motion Planning (TAMP) approaches, which combine high-level symbolic plan with low-level motion planning. Advances in Large Language Models (LLMs), such as GPT-4, are transforming task planning by offering natural language as an intuitive and flexible way to describe tasks, generate symbolic plans, and reason. However, the effectiveness of LLM-based TAMP approaches is limited due to static and template-based prompting, which struggles in adapting to dynamic environments and complex task contexts. To address these limitations, this work proposes a novel ontology-driven prompt-tuning framework that employs knowledge-based reasoning to refine and expand user prompts with task contextual reasoning and knowledge-based environment state descriptions. Integrating domain-specific knowledge into the prompt ensures semantically accurate and context-aware task plans. The proposed framework demonstrates its effectiveness by resolving semantic errors in symbolic plan generation, such as maintaining logical temporal goal ordering in scenarios involving hierarchical object placement. The proposed framework is validated through both simulation and real-world scenarios, demonstrating significant improvements over the baseline approach in terms of adaptability to dynamic environments, and the generation of semantically correct task plans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google