ZeroCAP: Zero-Shot Multi-Robot Context Aware Pattern Formation via Large Language Models

要約

ロボット操作に言語理解を組み込むことは、ロボット工学の大きな進歩を引き出すが、特にパターン形成のような空間指向タスクの実行において、明確な課題も提示する。本論文では、ZeroCAPを紹介する。ZeroCAPは、大規模な言語モデルとマルチロボットシステムを統合し、ゼロショットのコンテキストを認識したパターン形成を行う新しいシステムである。ZeroCAPは、言語条件付きロボット工学の原理に基づき、言語モデルの解釈力を活用して、自然言語の指示を実行可能なロボット構成に変換する。このアプローチは、視覚-言語モデル、最先端のセグメンテーション技術、および形状記述子の相乗効果を組み合わせることで、マルチロボット協調の領域において、複雑で文脈駆動型のパターン形成を実現することを可能にする。広範な実験を通して、我々は、物体を囲んだり、かごに入れたり、領域を埋めたりするような、様々なタスクにわたって、複雑なコンテキストを意識したパターン形成を実行するシステムの熟練度を実証する。これは、複雑なコンテキスト駆動タスクを解釈し実行するシステムの能力を検証するだけでなく、様々な環境やシナリオに対する適応性と有効性を強調するものである。この研究の詳細はhttps://sites.google.com/view/zerocap/home。

要約(オリジナル)

Incorporating language comprehension into robotic operations unlocks significant advancements in robotics, but also presents distinct challenges, particularly in executing spatially oriented tasks like pattern formation. This paper introduces ZeroCAP, a novel system that integrates large language models with multi-robot systems for zero-shot context aware pattern formation. Grounded in the principles of language-conditioned robotics, ZeroCAP leverages the interpretative power of language models to translate natural language instructions into actionable robotic configurations. This approach combines the synergy of vision-language models, cutting-edge segmentation techniques and shape descriptors, enabling the realization of complex, context-driven pattern formations in the realm of multi robot coordination. Through extensive experiments, we demonstrate the systems proficiency in executing complex context aware pattern formations across a spectrum of tasks, from surrounding and caging objects to infilling regions. This not only validates the system’s capability to interpret and implement intricate context-driven tasks but also underscores its adaptability and effectiveness across varied environments and scenarios. More details about this work are available at: https://sites.google.com/view/zerocap/home

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL