Active Scout: Multi-Target Tracking Using Neural Radiance Fields in Dense Urban Environments

要約

私たちは、高度に遮蔽された都市環境における追跡回避ゲームを研究しています。
都市の高層ビルで、偵察員 (クアッドローター) が地上の複数の動的ターゲットを追跡します。
私たちは、さまざまな視点からの RGB および深度画像を使用して、都市の神経放射フィールド (NeRF) 表現をオンラインで構築できることを示します。
この表現は、都市の未知の部分の探索とターゲットの追跡の両方を行うための情報利得を計算するために使用されます。これにより、動的なターゲットをアクティブに追跡するための完全な第一原理アプローチが提供されます。
フィラデルフィアとニューヨーク市のオープン ストリート マップ データを使用したカスタム構築のシミュレーターを使用して、300 歩以内で 20 個の静止ターゲットを探索して位置を特定できることを実証します。
これは、能動的な知覚を使用しない貪欲なベースラインよりも遅くなります。
しかし、オクルージョンの背後に積極的に隠れる動的ターゲットの場合、私たちのアプローチは最悪の場合でも 200m の追跡誤差を維持することを示します。
貪欲なベースラインでは、600m ものトラッキングエラーが発生する可能性があります。
スカウトのポリシーには多くの興味深い特性が観察されます。たとえば、NeRF 表現の品質が時間の経過とともに向上するにつれて、スカウトは注意を定期的に切り替えて別のターゲットを追跡し、ターゲット追跡の点でもスカウトがより良くなります。

要約(オリジナル)

We study pursuit-evasion games in highly occluded urban environments, e.g. tall buildings in a city, where a scout (quadrotor) tracks multiple dynamic targets on the ground. We show that we can build a neural radiance field (NeRF) representation of the city — online — using RGB and depth images from different vantage points. This representation is used to calculate the information gain to both explore unknown parts of the city and track the targets — thereby giving a completely first-principles approach to actively tracking dynamic targets. We demonstrate, using a custom-built simulator using Open Street Maps data of Philadelphia and New York City, that we can explore and locate 20 stationary targets within 300 steps. This is slower than a greedy baseline which which does not use active perception. But for dynamic targets that actively hide behind occlusions, we show that our approach maintains, at worst, a tracking error of 200m; the greedy baseline can have a tracking error as large as 600m. We observe a number of interesting properties in the scout’s policies, e.g., it switches its attention to track a different target periodically, as the quality of the NeRF representation improves over time, the scout also becomes better in terms of target tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google