On-the-Fly SfM: What you capture is What you get

要約

過去数十年にわたり、Structure from motion (SfM) に関して十分な成果が上げられてきました。
ただし、それらの大部分は基本的にオフラインで動作します。つまり、画像は最初にキャプチャされ、次にポーズと疎点群を取得するために SfM パイプラインに一緒に供給されます。
この研究では、逆に、オンザフライ SfM を提示します。画像キャプチャ中にオンライン SfM を実行します。新しく撮影されたオンザフライ画像は、対応するポーズとポイントでオンライン推定されます。つまり、キャプチャしたものは
あなたが得るもの。
具体的には、私たちのアプローチはまず、新たなフライイン画像を高速に画像検索するために、学習ベースのグローバル特徴を使用して教師なしでトレーニングされた語彙ツリーを採用します。
次に、画像レジストレーションのパフォーマンスを向上させるために、最小二乗法 (LSM) を使用した堅牢な特徴マッチング メカニズムが提示されます。
最後に、新たにフライイン画像の接続された隣接画像の影響を調査することにより、効率的な階層加重ローカルバンドル調整 (BA) が最適化に使用されます。
広範な実験結果は、オンザフライ SfM がオンライン方法でキャプチャしながら画像を堅牢に位置合わせするという目標を達成できることを示しています。

要約(オリジナル)

Over the last decades, ample achievements have been made on Structure from motion (SfM). However, the vast majority of them basically work in an offline manner, i.e., images are firstly captured and then fed together into a SfM pipeline for obtaining poses and sparse point cloud. In this work, on the contrary, we present an on-the-fly SfM: running online SfM while image capturing, the newly taken On-the-Fly image is online estimated with the corresponding pose and points, i.e., what you capture is what you get. Specifically, our approach firstly employs a vocabulary tree that is unsupervised trained using learning-based global features for fast image retrieval of newly fly-in image. Then, a robust feature matching mechanism with least squares (LSM) is presented to improve image registration performance. Finally, via investigating the influence of newly fly-in image’s connected neighboring images, an efficient hierarchical weighted local bundle adjustment (BA) is used for optimization. Extensive experimental results demonstrate that on-the-fly SfM can meet the goal of robustly registering the images while capturing in an online way.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google