UAV See, UGV Do: Aerial Imagery and Virtual Teach Enabling Zero-Shot Ground Vehicle Repeat

要約

このペーパーでは、Virtual Teach and Repeat（Virt＆r）：The Teach and Repeat（T＆R）フレームワークの拡張を紹介します。
Virt＆rは、ターゲット環境向けにキャプチャされた空中画像を活用して、神経放射輝度フィールド（NERF）モデルをトレーニングして、密なポイント雲と写真テクスチャメッシュを抽出できるようにします。
NERFメッシュは、環境の高忠実度シミュレーションを作成して、無人の地上車両（UGV）を操縦して、目的のパスを事実上定義します。
その後、ミッションは、パスに沿って関連付けられたNERF由来のポイントクラウドサブマップと既存のLIDAR Teach（LT＆R）フレームワークを使用して、実際のターゲット環境で実行できます。
SIMからリアルの横方向のパス追跡エラーを取得し、LT＆Rと比較できる物理マーキングを使用して、12 kmを超える自律駆動データでVirt＆Rの再現性をベンチマークします。
Virt＆rは、2つの異なる環境で19.5 cmおよび18.4 cmの測定された根平均誤差（RMSE）を達成しました。これらは、テストに使用されるロボットで1つのタイヤ幅（24 cm）未満であり、それぞれの最大誤差は39.4 cmおよび47.6 cmでした。
これは、nerf由来のティーチングマップのみを使用して行われ、virt＆rはLT＆Rと同様の閉ループパストラッキングパフォーマンスを持っているが、実際の環境でUGVへのパスを手動で教えることは人間に必要ではないことを示しています。

要約(オリジナル)

This paper presents Virtual Teach and Repeat (VirT&R): an extension of the Teach and Repeat (T&R) framework that enables GPS-denied, zero-shot autonomous ground vehicle navigation in untraversed environments. VirT&R leverages aerial imagery captured for a target environment to train a Neural Radiance Field (NeRF) model so that dense point clouds and photo-textured meshes can be extracted. The NeRF mesh is used to create a high-fidelity simulation of the environment for piloting an unmanned ground vehicle (UGV) to virtually define a desired path. The mission can then be executed in the actual target environment by using NeRF-derived point cloud submaps associated along the path and an existing LiDAR Teach and Repeat (LT&R) framework. We benchmark the repeatability of VirT&R on over 12 km of autonomous driving data using physical markings that allow a sim-to-real lateral path-tracking error to be obtained and compared with LT&R. VirT&R achieved measured root mean squared errors (RMSE) of 19.5 cm and 18.4 cm in two different environments, which are slightly less than one tire width (24 cm) on the robot used for testing, and respective maximum errors were 39.4 cm and 47.6 cm. This was done using only the NeRF-derived teach map, demonstrating that VirT&R has similar closed-loop path-tracking performance to LT&R but does not require a human to manually teach the path to the UGV in the actual environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google