RESFM: Robust Equivariant Multiview Structure from Motion

要約

モーションからのマルチビュー構造は、コンピュータ ビジョンの基本的かつ困難な問題です。
最近のディープベースのアプローチは、大規模な画像コレクションからカメラのポーズと 3D シーン構造を同時に復元するために行列等変アーキテクチャを利用することが提案されました。
しかし、この研究では、入力として与えられたポイント トラックには外れ値が含まれていないという非現実的な仮定が立てられました。
ここでは、モデルの等分散性を尊重するインライア/アウトライア分類モジュールを追加し、堅牢なバンドル調整ステップを追加することにより、外れ値の処理に適したアーキテクチャを提案します。
実験では、一般的なヒューリスティックで抽出され、多くの外れ値を含む大規模な画像コレクションとポイント トラックを含む現実的な設定で、私たちの方法がうまく適用できることを示しています。

要約(オリジナル)

Multiview Structure from Motion is a fundamental and challenging computer vision problem. A recent deep-based approach was proposed utilizing matrix equivariant architectures for the simultaneous recovery of camera pose and 3D scene structure from large image collections. This work however made the unrealistic assumption that the point tracks given as input are clean of outliers. Here we propose an architecture suited to dealing with outliers by adding an inlier/outlier classifying module that respects the model equivariance and by adding a robust bundle adjustment step. Experiments demonstrate that our method can be successfully applied in realistic settings that include large image collections and point tracks extracted with common heuristics and include many outliers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google