Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds

要約

ビジョン言語モデル（VLM）をトレーニングするための概念的なフレームワークを提示して、視覚的視点（VPT）を実行します。これは、人間とロボットの相互作用に不可欠な具体化された認知のコア機能（HRI）です。
この目標への最初のステップとして、Nvidia Omniverseで生成された合成データセットを導入し、空間的推論タスクの監視された学習を可能にします。
各インスタンスには、RGB画像、自然言語の説明、およびオブジェクトポーズを表すグラウンドトゥルース4×4変換マトリックスが含まれます。
私たちは、Z軸距離を基礎スキルとして推測することに焦点を当てており、将来の拡張機能は6度の自由度（DOFS）の推論を対象としています。
データセットは、さらなる研究をサポートするために公開されています。
この作業は、インタラクティブなヒューマンロボットシナリオで空間的理解が可能な具体化されたAIシステムに向けた基本的なステップとして機能します。

要約(オリジナル)

We present a conceptual framework for training Vision-Language Models (VLMs) to perform Visual Perspective Taking (VPT), a core capability for embodied cognition essential for Human-Robot Interaction (HRI). As a first step toward this goal, we introduce a synthetic dataset, generated in NVIDIA Omniverse, that enables supervised learning for spatial reasoning tasks. Each instance includes an RGB image, a natural language description, and a ground-truth 4X4 transformation matrix representing object pose. We focus on inferring Z-axis distance as a foundational skill, with future extensions targeting full 6 Degrees Of Freedom (DOFs) reasoning. The dataset is publicly available to support further research. This work serves as a foundational step toward embodied AI systems capable of spatial understanding in interactive human-robot scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google