VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning

要約

広範なインテリジェントエージェントは、生の感覚運動空間の複雑さを抽象化しながら、タスクの本質的な要素を選択的に公開するタスク固有の抽象化を形成する必要があります。
この研究では、記号的知識表現と神経的知識表現の長所を組み合わせた一次抽象化言語であるニューロシンボリック述語を紹介します。
このような述語を発明し、抽象的な世界モデルを学習するためのオンライン アルゴリズムの概要を説明します。
5 つのシミュレートされたロボット ドメインにわたる分散内タスクと分散外タスクの両方について、階層型強化学習、ビジョン言語モデル計画、および記号述語発明アプローチに対するアプローチを比較します。
結果は、私たちのアプローチがより優れたサンプルの複雑さ、より強力な分布外一般化、および改善された解釈性を提供することを示しています。

要約(オリジナル)

Broadly intelligent agents should form task-specific abstractions that selectively expose the essential elements of a task, while abstracting away the complexity of the raw sensorimotor space. In this work, we present Neuro-Symbolic Predicates, a first-order abstraction language that combines the strengths of symbolic and neural knowledge representations. We outline an online algorithm for inventing such predicates and learning abstract world models. We compare our approach to hierarchical reinforcement learning, vision-language model planning, and symbolic predicate invention approaches, on both in- and out-of-distribution tasks across five simulated robotic domains. Results show that our approach offers better sample complexity, stronger out-of-distribution generalization, and improved interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google