Leveraging Neural Radiance Fields for Pose Estimation of an Unknown Space Object during Proximity Operations

要約

私たちは、単眼カメラを基準とした未知のターゲット宇宙船の 6D 姿勢の推定に取り組みます。これは、将来のアクティブデブリ除去ミッションに必要な自律ランデブーおよび近接操作に向けた重要なステップです。
我々は、ターゲットの CAD モデルを知っていると想定されている「既製の」宇宙船姿勢推定器を未知のターゲットに適用できるようにする新しい方法を紹介します。
私たちの方法は、野生の NeRF、つまり、学習可能な外観の埋め込みを使用して、自然のシーンで見られるさまざまな照明条件を表すニューラル ラディアンス フィールドに依存しています。
ターゲットを描写する画像のまばらなコレクションを使用して NeRF モデルをトレーニングし、視点と照明の両方の点で多様な大規模なデータセットを生成します。
このデータセットは、姿勢推定ネットワークのトレーニングに使用されます。
軌道上で遭遇する照明条件に近い照明条件をエミュレートする SPEED+ のハードウェアインザループ画像で方法を検証します。
私たちの方法により、まばらな画像セットから既製の宇宙船姿勢推定ネットワークのトレーニングが可能になることを実証します。
さらに、私たちの方法を使用してトレーニングされたネットワークが、ターゲットの CAD モデルを使用して生成された合成画像でトレーニングされたモデルと同様に機能することを示します。

要約(オリジナル)

We address the estimation of the 6D pose of an unknown target spacecraft relative to a monocular camera, a key step towards the autonomous rendezvous and proximity operations required by future Active Debris Removal missions. We present a novel method that enables an ‘off-the-shelf’ spacecraft pose estimator, which is supposed to known the target CAD model, to be applied on an unknown target. Our method relies on an in-the wild NeRF, i.e., a Neural Radiance Field that employs learnable appearance embeddings to represent varying illumination conditions found in natural scenes. We train the NeRF model using a sparse collection of images that depict the target, and in turn generate a large dataset that is diverse both in terms of viewpoint and illumination. This dataset is then used to train the pose estimation network. We validate our method on the Hardware-In-the-Loop images of SPEED+ that emulate lighting conditions close to those encountered on orbit. We demonstrate that our method successfully enables the training of an off-the-shelf spacecraft pose estimation network from a sparse set of images. Furthermore, we show that a network trained using our method performs similarly to a model trained on synthetic images generated using the CAD model of the target.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google