A Survey on Deep Learning-Based Monocular Spacecraft Pose Estimation: Current State, Limitations and Prospects

要約

非協力的な宇宙船の姿勢を推定することは、軌道上での自動ビジョンベースシステムの展開を可能にするための重要なコンピュータビジョン問題であり、軌道上のサービスからスペースデブリの除去まで、幅広い用途がある。コンピュータビジョンの一般的な傾向に従って、この問題に対処するためにディープラーニング（DL）手法を活用することに焦点を当てた研究が増えてきています。しかし、研究段階での有望な成果にもかかわらず、このような手法を実際のミッションで使用することを阻む大きな課題が依然として立ちはだかっています。特に、このような計算負荷の高いアルゴリズムの導入はまだ調査されておらず、合成画像で学習し、実画像でテストした場合の性能低下はまだ軽減されていません。このサーベイの第一の目的は、宇宙船のポーズ推定のための現在のDLベースの手法を包括的に説明することである。また、信頼性の高い自律型ビジョンベースのアプリケーションのために、DLベースの宇宙船姿勢推定ソリューションを効果的に展開するための制限を定義することを第二の目的としています。この目的のために、本調査ではまず、ハイブリッドモジュラーパイプラインと直接エンドツーエンド回帰法という2つのアプローチで、既存のアルゴリズムを要約する。アルゴリズムの比較は、ポーズ精度の観点だけでなく、ネットワークアーキテクチャやモデルのサイズに焦点を当て、潜在的な展開の可能性を念頭に置いて行われます。次に、これらの手法の訓練とテストに使用される、現在の単眼宇宙船ポーズ推定データセットについて説明する。また、データ生成方法（シミュレータやテストベッド）、合成画像と実験室・宇宙空間で収集された画像の間の領域ギャップや性能低下、潜在的な解決策についても議論しています。最後に、この分野における未解決の研究課題と将来の方向性について、他のコンピュータビジョンアプリケーションとの類似性を示しながら説明します。

要約(オリジナル)

Estimating the pose of an uncooperative spacecraft is an important computer vision problem for enabling the deployment of automatic vision-based systems in orbit, with applications ranging from on-orbit servicing to space debris removal. Following the general trend in computer vision, more and more works have been focusing on leveraging Deep Learning (DL) methods to address this problem. However and despite promising research-stage results, major challenges preventing the use of such methods in real-life missions still stand in the way. In particular, the deployment of such computation-intensive algorithms is still under-investigated, while the performance drop when training on synthetic and testing on real images remains to mitigate. The primary goal of this survey is to describe the current DL-based methods for spacecraft pose estimation in a comprehensive manner. The secondary goal is to help define the limitations towards the effective deployment of DL-based spacecraft pose estimation solutions for reliable autonomous vision-based applications. To this end, the survey first summarises the existing algorithms according to two approaches: hybrid modular pipelines and direct end-to-end regression methods. A comparison of algorithms is presented not only in terms of pose accuracy but also with a focus on network architectures and models’ sizes keeping potential deployment in mind. Then, current monocular spacecraft pose estimation datasets used to train and test these methods are discussed. The data generation methods: simulators and testbeds, the domain gap and the performance drop between synthetically generated and lab/space collected images and the potential solutions are also discussed. Finally, the paper presents open research questions and future directions in the field, drawing parallels with other computer vision applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL