Sketch-Plan-Generalize: Learning and Planning with Neuro-Symbolic Programmatic Representations for Inductive Spatial Concepts

要約

効果的なヒューマンロボットコラボレーションには、限られた数のデモンストレーションからパーソナライズされた概念を学習する能力が必要でありながら、誘導的一般化、階層構成、および新しい制約への適応性を示します。
事前に訓練された大規模な（ビジョン）言語モデルのコード生成機能を使用する既存のアプローチと、純粋にニューラルモデルは、目に見えない複雑な概念に対する貧弱な一般化を示しています。
神経系シンボリック法（Grand et al。、2023）は、プログラムスペースで検索することで有望な代替手段を提供しますが、デモンストレーションを使用して検索を効果的にガイドできないため、大きなプログラムスペースでの課題に直面しています。
私たちの重要な洞察は、誘導概念学習を次のように考慮することです。
当社のパイプラインは、一般化とモジュラーの再利用を促進し、継続的な概念学習を可能にします。
私たちのアプローチは、接地された神経表現とともに、大規模な言語モデル（LLMS）のコード生成能力の利点を組み合わせており、その結果、複雑な構造を構築するタスクを構築するタスクでより強力な帰納的一般化を示す神経 – 神経調節プログラムが生じます。
さらに、具体化された指導のための学習概念を使用して、推論と計画機能を実証します。

要約(オリジナル)

Effective human-robot collaboration requires the ability to learn personalized concepts from a limited number of demonstrations, while exhibiting inductive generalization, hierarchical composition, and adaptability to novel constraints. Existing approaches that use code generation capabilities of pre-trained large (vision) language models as well as purely neural models show poor generalization to \emph{a-priori} unseen complex concepts. Neuro-symbolic methods (Grand et al., 2023) offer a promising alternative by searching in program space, but face challenges in large program spaces due to the inability to effectively guide the search using demonstrations. Our key insight is to factor inductive concept learning as: (i) {\it Sketch:} detecting and inferring a coarse signature of a new concept (ii) {\it Plan:} performing an MCTS search over grounded action sequences guided by human demonstrations (iii) {\it Generalize:} abstracting out grounded plans as inductive programs. Our pipeline facilitates generalization and modular re-use, enabling continual concept learning. Our approach combines the benefits of code generation ability of large language models (LLMs) along with grounded neural representations, resulting in neuro-symbolic programs that show stronger inductive generalization on the task of constructing complex structures vis-\’a-vis LLM-only and purely neural approaches. Further, we demonstrate reasoning and planning capabilities with learned concepts for embodied instruction following.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google