Human-centered In-building Embodied Delivery Benchmark

要約

最近、身体化された知能の概念が広く受け入れられ普及し、人々はこの分野での商業化の可能性を自然に検討するようになりました。
この研究では、具体的な商業シナリオのシミュレーション、人間中心の建物内での身体的配信を提案します。
さらに、このシナリオのために、私たちはまったく新しい仮想環境システムをゼロから開発し、極地の研究ステーションをモデルにした多層の接続された建物空間を構築しました。
この環境には、自律的な人間のキャラクターや、把握能力と移動能力を備えたロボット、および多数のインタラクティブなアイテムも含まれています。
この環境に基づいて、ロボットがサービスを提供できるようにするための 13,000 言語の命令を含む配信データセットを構築しました。
私たちは人間のキャラクターを通じて人間の行動をシミュレートし、日常生活におけるさまざまなニーズをサンプリングします。
最後に、このデータセットのベースライン システムとして機能する大規模なマルチモーダル モデルを中心とした方法を提案しました。
過去の具体化されたデータの仕事と比較して、私たちの仕事は商業シナリオのための人間とロボットの相互作用を中心とした仮想環境に焦点を当てています。
私たちは、これが身体化されたコミュニティに新たな視点と探求の角度をもたらすと信じています。

要約(オリジナル)

Recently, the concept of embodied intelligence has been widely accepted and popularized, leading people to naturally consider the potential for commercialization in this field. In this work, we propose a specific commercial scenario simulation, human-centered in-building embodied delivery. Furthermore, for this scenario, we have developed a brand-new virtual environment system from scratch, constructing a multi-level connected building space modeled after a polar research station. This environment also includes autonomous human characters and robots with grasping and mobility capabilities, as well as a large number of interactive items. Based on this environment, we have built a delivery dataset containing 13k language instructions to guide robots in providing services. We simulate human behavior through human characters and sample their various needs in daily life. Finally, we proposed a method centered around a large multimodal model to serve as the baseline system for this dataset. Compared to past embodied data work, our work focuses on a virtual environment centered around human-robot interaction for commercial scenarios. We believe this will bring new perspectives and exploration angles to the embodied community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google