Planning with Vision-Language Models and a Use Case in Robot-Assisted Teaching

要約

大規模な言語モデル（LLM）を使用して、計画ドメイン定義言語（PDDL）の生成を自動化すると、特に複雑な実世界のタスクについて、AI計画に新しい研究トピックが開かれます。
このホワイトペーパーでは、Image2PDDLを紹介します。これは、Vision-Language Models（VLM）を活用して初期状態の画像と目標状態の説明をPDDL問題に自動的に変換する新しいフレームワークです。
視覚入力と一緒にPDDLドメインを提供することにより、IMASGE2PDDLは、象徴的な計画で知覚的理解を埋めるための重要な課題に対処し、構造化された問題インスタンスを作成するために必要な専門知識を減らし、さまざまな複雑さのタスク全体のスケーラビリティを改善します。
複数の難易度レベルのデータセットを使用して、BlockSworldやスライドタイルパズルなどの標準計画ドメインなど、さまざまなドメインのフレームワークを評価します。
パフォーマンスは、構文の正確性で評価され、文法と実行可能性とコンテンツの正確性を確保し、生成されたPDDL問題の正確な状態表現を検証します。
提案されたアプローチは、多様なタスクの複雑さにわたって有望な結果を示しており、AI計画におけるより広範なアプリケーションの可能性を示唆しています。
自閉症スペクトラム障害のある学生のロボット支援教育における潜在的なユースケースについて説明します。

要約(オリジナル)

Automating the generation of Planning Domain Definition Language (PDDL) with Large Language Model (LLM) opens new research topic in AI planning, particularly for complex real-world tasks. This paper introduces Image2PDDL, a novel framework that leverages Vision-Language Models (VLMs) to automatically convert images of initial states and descriptions of goal states into PDDL problems. By providing a PDDL domain alongside visual inputs, Imasge2PDDL addresses key challenges in bridging perceptual understanding with symbolic planning, reducing the expertise required to create structured problem instances, and improving scalability across tasks of varying complexity. We evaluate the framework on various domains, including standard planning domains like blocksworld and sliding tile puzzles, using datasets with multiple difficulty levels. Performance is assessed on syntax correctness, ensuring grammar and executability, and content correctness, verifying accurate state representation in generated PDDL problems. The proposed approach demonstrates promising results across diverse task complexities, suggesting its potential for broader applications in AI planning. We will discuss a potential use case in robot-assisted teaching of students with Autism Spectrum Disorder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google