CoViS-Net: A Cooperative Visual Spatial Foundation Model for Multi-Robot Applications

要約

非構造化環境におけるロボットの自律動作は、多くの場合、視覚による空間理解によって支えられています。
同時に動作する複数のロボットで構成されるシステムでは、さらに、正確かつ信頼性の高い姿勢推定に頻繁にアクセスする必要があります。
この研究では、データから空間事前分布を学習し、姿勢推定と空間理解を可能にする分散型視覚空間基盤モデルである CoViS-Net を提案します。
私たちのモデルは完全に分散化されており、プラットフォームに依存せず、オンボード コンピューティングを使用してリアルタイムで実行可能であり、既存のネットワーク インフラストラクチャを必要としません。
CoViS-Net は、(従来の方法とは対照的に) ロボット間のカメラのオーバーラップがなくても、相対姿勢推定とローカル鳥瞰図 (BEV) 表現を提供します。
さまざまな現実世界の設定にわたるマルチロボット編隊制御タスクでの使用を実証します。
コード、モデル、補足資料をオンラインで提供します。
https://proroklab.github.io/CoViS-Net/

要約(オリジナル)

Autonomous robot operation in unstructured environments is often underpinned by spatial understanding through vision. Systems composed of multiple concurrently operating robots additionally require access to frequent, accurate and reliable pose estimates. In this work, we propose CoViS-Net, a decentralized visual spatial foundation model that learns spatial priors from data, enabling pose estimation as well as spatial comprehension. Our model is fully decentralized, platform-agnostic, executable in real-time using onboard compute, and does not require existing networking infrastructure. CoViS-Net provides relative pose estimates and a local bird’s-eye-view (BEV) representation, even without camera overlap between robots (in contrast to classical methods). We demonstrate its use in a multi-robot formation control task across various real-world settings. We provide code, models and supplementary material online. https://proroklab.github.io/CoViS-Net/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google