3D Multi-frame Fusion for Video Stabilization

要約

この論文では、ボリューム レンダリングを通じて 3D マルチフレーム フュージョンを統合する、ビデオ安定化のための新しいフレームワークである RStab を紹介します。
従来の方法とは異なり、3D マルチフレーム遠近法を導入して安定した画像を生成し、構造を維持しながらフルフレーム生成の課題に対処します。
私たちのアプローチの中核は、ボリューム レンダリング モジュールであるスタビライズド レンダリング (SR) にあり、フィーチャ フュージョンを組み込むことでイメージ フュージョンを超えて拡張されます。
RStab フレームワークの中核は、ボリューム レンダリング モジュールである Stabilized Rendering (SR) にあり、3D 空間でマルチフレーム情報を融合します。
具体的には、SR には、投影によって複数のフレームからの特徴と色をワーピングし、それらを記述子に融合して安定化された画像をレンダリングすることが含まれます。
ただし、ワープされた情報の精度は投影精度に依存し、この投影精度は動的領域に大きく影響されます。
これに応えて、アダプティブ レイ レンジ (ARR) モジュールを導入して深度事前分布を統合し、投影プロセスのサンプリング範囲を適応的に定義します。
さらに、正確な色集約のためにオプティカル フローによる幾何学的制約を支援する色補正 (CC) を提案します。
3 つのモジュールのおかげで、当社の RStab は、さまざまなデータセットにわたる視野 (FOV)、画質、ビデオの安定性において、以前のスタビライザーと比較して優れたパフォーマンスを示します。

要約(オリジナル)

In this paper, we present RStab, a novel framework for video stabilization that integrates 3D multi-frame fusion through volume rendering. Departing from conventional methods, we introduce a 3D multi-frame perspective to generate stabilized images, addressing the challenge of full-frame generation while preserving structure. The core of our approach lies in Stabilized Rendering (SR), a volume rendering module, which extends beyond the image fusion by incorporating feature fusion. The core of our RStab framework lies in Stabilized Rendering (SR), a volume rendering module, fusing multi-frame information in 3D space. Specifically, SR involves warping features and colors from multiple frames by projection, fusing them into descriptors to render the stabilized image. However, the precision of warped information depends on the projection accuracy, a factor significantly influenced by dynamic regions. In response, we introduce the Adaptive Ray Range (ARR) module to integrate depth priors, adaptively defining the sampling range for the projection process. Additionally, we propose Color Correction (CC) assisting geometric constraints with optical flow for accurate color aggregation. Thanks to the three modules, our RStab demonstrates superior performance compared with previous stabilizers in the field of view (FOV), image quality, and video stability across various datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google