要約
RGB画像からの剛体の正確な6次元姿勢推定は、ロボット工学や拡張現実において重要だが困難なタスクである。この問題に対処するために、我々は6次元姿勢洗練のための新しいリカレントネットワークアーキテクチャであるDeepRMを提案する。DeepRMは、ターゲットオブジェクトの合成画像をレンダリングするために、初期の粗いポーズ推定値を利用する。次に、レンダリングされた画像と観測された画像をマッチングさせ、前のポーズ推定値を更新するための剛体変換を予測します。このプロセスを繰り返すことで、各反復において推定値を段階的に改良する。LSTMユニットは、各精密化ステップを通じて情報を伝達するために使用され、全体的なパフォーマンスを大幅に向上させます。多くの2ステージのPerspective-n-Pointベースのソリューションとは対照的に、DeepRMはエンドツーエンドで学習され、精度と効率のために単一のパラメータで調整可能なスケーラブルなバックボーンを使用します。学習時には、マルチスケールオプティカルフローヘッドを追加し、観測画像と合成画像の間のオプティカルフローを予測します。オプティカルフロー予測は、学習プロセスを安定化させ、姿勢推定のタスクに関連する特徴の学習を強制的に行います。我々の結果は、広く受け入れられている2つのチャレンジングなデータセットにおいて、DeepRMが最先端の性能を達成することを実証している。
要約(オリジナル)
Precise 6D pose estimation of rigid objects from RGB images is a critical but challenging task in robotics and augmented reality. To address this problem, we propose DeepRM, a novel recurrent network architecture for 6D pose refinement. DeepRM leverages initial coarse pose estimates to render synthetic images of target objects. The rendered images are then matched with the observed images to predict a rigid transform for updating the previous pose estimate. This process is repeated to incrementally refine the estimate at each iteration. LSTM units are used to propagate information through each refinement step, significantly improving overall performance. In contrast to many 2-stage Perspective-n-Point based solutions, DeepRM is trained end-to-end, and uses a scalable backbone that can be tuned via a single parameter for accuracy and efficiency. During training, a multi-scale optical flow head is added to predict the optical flow between the observed and synthetic images. Optical flow prediction stabilizes the training process, and enforces the learning of features that are relevant to the task of pose estimation. Our results demonstrate that DeepRM achieves state-of-the-art performance on two widely accepted challenging datasets.
arxiv情報
| 著者 | Alexander Avery,Andreas Savakis |
| 発行日 | 2022-06-07 14:29:53+00:00 |
| arxivサイト | arxiv_id(pdf) |