Fine Dense Alignment of Image Bursts through Camera Pose and Depth Estimation

要約

この論文では、手持ちカメラで撮影したバースト内の画像を細かく位置合わせするための新しいアプローチを紹介します。
フレームペア間の 2 次元変換を推定したり、離散的な対応に依存したりする従来の手法とは対照的に、提案されたアルゴリズムは、カメラの動きと表面の深さおよび向きの両方をピクセルごとに最適化することで、密な対応を確立します。
このアプローチにより、特に視差の問題があるシナリオで位置合わせが改善されます。
小さいベースラインやさらに小さなベースラインを特徴とする合成バーストを使用した広範な実験により、トレーニングを必要とせずに、この設定で現在利用可能な最高のオプティカル フロー手法を上回るパフォーマンスが実証されています。
有望な予備結果によって裏付けられているように、私たちの方法は、位置合わせの強化を超えて、深度推定や 3D 再構成など、単純な画像復元を超えたタスクへの道を開きます。
これにより、私たちのアプローチは、さまざまなバースト画像処理アプリケーションのための多用途ツールとして位置付けられます。

要約(オリジナル)

This paper introduces a novel approach to the fine alignment of images in a burst captured by a handheld camera. In contrast to traditional techniques that estimate two-dimensional transformations between frame pairs or rely on discrete correspondences, the proposed algorithm establishes dense correspondences by optimizing both the camera motion and surface depth and orientation at every pixel. This approach improves alignment, particularly in scenarios with parallax challenges. Extensive experiments with synthetic bursts featuring small and even tiny baselines demonstrate that it outperforms the best optical flow methods available today in this setting, without requiring any training. Beyond enhanced alignment, our method opens avenues for tasks beyond simple image restoration, such as depth estimation and 3D reconstruction, as supported by promising preliminary results. This positions our approach as a versatile tool for various burst image processing applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google