Learning autonomous driving from aerial imagery

要約

この研究では、航空画像のみから地上車両の制御のためのエンドツーエンドの知覚を学習する問題を検討します。
写真測量シミュレーターを使用すると、事前に生成されたアセットを新しいビューに変換することで、新しいビューを合成できます。ただし、セットアップに多額のコストがかかり、データを慎重に収集し、使用可能なシミュレーターを作成するには人間の労力が必要になることがよくあります。
地上車両の視点から新しいビューを合成するための中間表現として Neural Radiance Field (NeRF) を使用します。
これらの新しい視点は、いくつかの下流の自律ナビゲーション アプリケーションに使用できます。
この研究では、画像と深度データからのエンドツーエンド学習のためのトレーニング ポリシーの適用を通じて、新しいビュー合成の有用性を実証します。
従来のリアルからシミュレーションへのフレームワークでは、収集されたデータがビジュアル シミュレーターに変換され、それを使用して新しいビューを生成します。
対照的に、NeRF を使用すると、環境内でより多くのデータが収集されるにつれて、コンパクトな表現とビジュアル シミュレーターのパラメーターを最適化する機能が可能になります。
ロボットカーに模倣ポリシーを導入することで、カスタム構築されたミニシティ環境における手法の有効性を実証します。
さらに、場所の位置特定のタスクを考慮し、私たちの方法が現実世界で車の位置を再特定できることを実証します。

要約(オリジナル)

In this work, we consider the problem of learning end to end perception to control for ground vehicles solely from aerial imagery. Photogrammetric simulators allow the synthesis of novel views through the transformation of pre-generated assets into novel views.However, they have a large setup cost, require careful collection of data and often human effort to create usable simulators. We use a Neural Radiance Field (NeRF) as an intermediate representation to synthesize novel views from the point of view of a ground vehicle. These novel viewpoints can then be used for several downstream autonomous navigation applications. In this work, we demonstrate the utility of novel view synthesis though the application of training a policy for end to end learning from images and depth data. In a traditional real to sim to real framework, the collected data would be transformed into a visual simulator which could then be used to generate novel views. In contrast, using a NeRF allows a compact representation and the ability to optimize over the parameters of the visual simulator as more data is gathered in the environment. We demonstrate the efficacy of our method in a custom built mini-city environment through the deployment of imitation policies on robotic cars. We additionally consider the task of place localization and demonstrate that our method is able to relocalize the car in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google