Robust Multi-Task Learning and Online Refinement for Spacecraft Pose Estimation across Domain Gap

要約

この作業では、ドメイン ギャップ全体の非協力的な宇宙船の姿勢推定のための畳み込みニューラル ネットワーク (CNN) である Spacecraft Pose Network v2 (SPNv2) を紹介します。
SPNv2 は、共有マルチスケール機能エンコーダーと、共有機能出力に対して異なるタスクを実行する複数の予測ヘッドで構成されるマルチスケール、マルチタスク CNN です。
これらのタスクはすべて、事前定義された衛星キーポイントの予測、直接姿勢回帰、衛星前景のバイナリ セグメンテーションなど、画像からのターゲット宇宙船の検出と姿勢推定に関連しています。
合成画像のみの広範なデータ拡張を使用して、異なるが関連するタスクを共同でトレーニングすることにより、共有エンコーダーは、合成画像と比較して根本的に異なる視覚特性を持つ画像ドメイン全体に共通する機能を学習することが示されています。
この作業では、展開時にオンラインでターゲット ドメイン イメージ上の SPNv2 の正規化レイヤーのパラメーターを調整する Online Domain Refinement (ODR) も導入されています。
具体的には、ODR は、予測された衛星前景の自己教師ありエントロピー最小化を実行します。これにより、ターゲット ドメインの画像に対する CNN のパフォーマンスが、ポーズ ラベルなしで最小限の計算作業で改善されます。
SPNv2 の GitHub リポジトリは、https://github.com/tpark94/spnv2 で入手できます。

要約(オリジナル)

This work presents Spacecraft Pose Network v2 (SPNv2), a Convolutional Neural Network (CNN) for pose estimation of noncooperative spacecraft across domain gap. SPNv2 is a multi-scale, multi-task CNN which consists of a shared multi-scale feature encoder and multiple prediction heads that perform different tasks on a shared feature output. These tasks are all related to detection and pose estimation of a target spacecraft from an image, such as prediction of pre-defined satellite keypoints, direct pose regression, and binary segmentation of the satellite foreground. It is shown that by jointly training on different yet related tasks with extensive data augmentations on synthetic images only, the shared encoder learns features that are common across image domains that have fundamentally different visual characteristics compared to synthetic images. This work also introduces Online Domain Refinement (ODR) which refines the parameters of the normalization layers of SPNv2 on the target domain images online at deployment. Specifically, ODR performs self-supervised entropy minimization of the predicted satellite foreground, thereby improving the CNN’s performance on the target domain images without their pose labels and with minimal computational efforts. The GitHub repository for SPNv2 is available at https://github.com/tpark94/spnv2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google