Self-Supervised Correspondence Estimation via Multiview Registration

要約

映像は、視覚学習に必要な時空間的な一貫性を与えてくれる。最近のアプローチは、この信号を利用して、近接したフレームペアから対応関係を推定する学習を行っている。しかし，近接したフレームペアのみに依存することで，遠距離にあるオーバーラップフレーム間の豊かな長距離一貫性を見逃している．そこで本研究では，短いRGB-Dビデオシーケンスにおけるマルチビュー整合性から学習する，自己教師付き対応関係推定法を提案する．本アプローチは、ペアワイズ対応関係推定とレジストレーションを、新しいSE(3)変換同期アルゴリズムと組み合わせている。我々の重要な洞察は、自己教師付きマルチビュー登録によって、より長い時間フレームで対応関係を得ることができ、サンプリングされたペアの多様性と難易度の両方が向上することである。我々は、対応関係推定とRGB-D点群登録のための屋内シーンで我々のアプローチを評価し、我々は教師ありアプローチと同等のパフォーマンスを得ることができた。

要約(オリジナル)

Video provides us with the spatio-temporal consistency needed for visual learning. Recent approaches have utilized this signal to learn correspondence estimation from close-by frame pairs. However, by only relying on close-by frame pairs, those approaches miss out on the richer long-range consistency between distant overlapping frames. To address this, we propose a self-supervised approach for correspondence estimation that learns from multiview consistency in short RGB-D video sequences. Our approach combines pairwise correspondence estimation and registration with a novel SE(3) transformation synchronization algorithm. Our key insight is that self-supervised multiview registration allows us to obtain correspondences over longer time frames; increasing both the diversity and difficulty of sampled pairs. We evaluate our approach on indoor scenes for correspondence estimation and RGB-D pointcloud registration and find that we perform on-par with supervised approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL