CoViS-Net: A Cooperative Visual Spatial Foundation Model for Multi-Robot Applications

要約

視覚から空間を理解することは、構造化されていない環境で動作するロボットにとって非常に重要です。
現実世界では、空間理解は不適切な問題であることがよくあります。
相対姿勢を正確に回帰する強力な古典的な手法は数多くありますが、これらの手法にはデータから得られた事前分布を利用して曖昧さを解決する機能が欠けていることがよくあります。
マルチロボット システムでは、協力するエージェントの位置を正確かつ頻繁に推定する必要があるため、これらの課題はさらに悪化します。
この目的を達成するために、データから空間事前分布を学習する、協調的なマルチロボットの視覚空間基盤モデルである CoViS-Net を提案します。
主にオフラインのデータセットで評価されたこれまでの研究とは異なり、私たちは特にオンライン評価と協働ロボット上での実世界の展開に向けてモデルを設計しています。
私たちのモデルは完全に分散化されており、プラットフォームに依存せず、オンボード コンピューティングを使用してリアルタイムで実行可能であり、既存のネットワーク インフラストラクチャを必要としません。
この作業では、相対姿勢推定とローカル鳥瞰図 (BEV) 予測タスクに焦点を当てます。
古典的なアプローチとは異なり、私たちのモデルはカメラのオーバーラップを必要とせずに相対的な姿勢を正確に予測し、エゴエージェントには見えない領域のBEVを予測できることを示します。
私たちは、実験室の枠外でマルチロボットの編隊制御タスクに関するモデルを実証します。

要約(オリジナル)

Spatial understanding from vision is crucial for robots operating in unstructured environments. In the real world, spatial understanding is often an ill-posed problem. There are a number of powerful classical methods that accurately regress relative pose, however, these approaches often lack the ability to leverage data-derived priors to resolve ambiguities. In multi-robot systems, these challenges are exacerbated by the need for accurate and frequent position estimates of cooperating agents. To this end, we propose CoViS-Net, a cooperative, multi-robot, visual spatial foundation model that learns spatial priors from data. Unlike prior work evaluated primarily on offline datasets, we design our model specifically for online evaluation and real-world deployment on cooperative robots. Our model is completely decentralized, platform agnostic, executable in real-time using onboard compute, and does not require existing network infrastructure. In this work, we focus on relative pose estimation and local Bird’s Eye View (BEV) prediction tasks. Unlike classical approaches, we show that our model can accurately predict relative poses without requiring camera overlap, and predict BEVs of regions not visible to the ego-agent. We demonstrate our model on a multi-robot formation control task outside the confines of the laboratory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google