LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field

要約

シネマグラフは、静止画写真と微妙な動きの要素を組み合わせて魅力的な体験を生み出すユニークな形式のビジュアル メディアです。
ただし、最近の作品によって生成されたビデオの大部分には奥行き情報が欠如しており、2D 画像空間の制約に限定されています。
この論文では、3D ガウス スプラッティング (3D-GS) によって達成された新規ビュー合成 (NVS) の分野における大きな進歩に触発され、3D ガウス モデリングを使用してシネマグラフを 2D 画像空間から 3D 空間に高める LoopGaussian を提案します。
これを達成するために、まず 3D-GS 法を使用して、オブジェクトの変形によって引き起こされるぼやけやアーティファクトを防ぐ形状正則化項を組み込んだ、静的シーンのマルチビュー画像から 3D ガウス点群を再構成します。
次に、3D ガウスを特徴空間に投影するために、3D ガウスに合わせたオートエンコーダーを採用します。
シーンの局所的な連続性を維持するために、取得した特徴に基づいてクラスタリング用の SuperGaussian を考案します。
クラスター間の類似性を計算し、2 段階の推定方法を採用することで、シーン全体の速度を記述するオイラー運動フィールドを導き出します。
3D ガウス ポイントは、推定されたオイラー運動フィールド内で移動します。
双方向アニメーション技術を通じて、最終的には自然でシームレスにループ可能なダイナミクスを示す 3D シネマグラフを生成します。
実験結果は私たちのアプローチの有効性を検証し、高品質で視覚的に魅力的なシーン生成を実証しました。
このプロジェクトは https://pokerlishao.github.io/LoopGaussian/ で入手できます。

要約(オリジナル)

Cinemagraph is a unique form of visual media that combines elements of still photography and subtle motion to create a captivating experience. However, the majority of videos generated by recent works lack depth information and are confined to the constraints of 2D image space. In this paper, inspired by significant progress in the field of novel view synthesis (NVS) achieved by 3D Gaussian Splatting (3D-GS), we propose LoopGaussian to elevate cinemagraph from 2D image space to 3D space using 3D Gaussian modeling. To achieve this, we first employ the 3D-GS method to reconstruct 3D Gaussian point clouds from multi-view images of static scenes,incorporating shape regularization terms to prevent blurring or artifacts caused by object deformation. We then adopt an autoencoder tailored for 3D Gaussian to project it into feature space. To maintain the local continuity of the scene, we devise SuperGaussian for clustering based on the acquired features. By calculating the similarity between clusters and employing a two-stage estimation method, we derive an Eulerian motion field to describe velocities across the entire scene. The 3D Gaussian points then move within the estimated Eulerian motion field. Through bidirectional animation techniques, we ultimately generate a 3D Cinemagraph that exhibits natural and seamlessly loopable dynamics. Experiment results validate the effectiveness of our approach, demonstrating high-quality and visually appealing scene generation. The project is available at https://pokerlishao.github.io/LoopGaussian/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google