3D Cinemagraphy from a Single Image

要約

2D画像アニメーションと3D写真を融合させた新しい技術、3Dシネマグラフィーをご紹介します。
入力として 1 つの静止画像が与えられた場合、私たちの目標は、ビジュアル コンテンツ アニメーションとカメラ モーションの両方を含むビデオを生成することです。
既存の 2D 画像アニメーションと 3D 写真撮影方法を素朴に組み合わせると、明らかなアーティファクトや一貫性のないアニメーションが発生することが経験的にわかっています。
私たちの重要な洞察は、3D 空間でシーンを表現してアニメーション化することが、このタスクに対する自然な解決策になるということです。
この目的のために、まず、予測された深度値を使用して入力画像をフィーチャベースの階層化された深度画像に変換し、続いてそれらをフィーチャ ポイント クラウドに非投影にします。
シーンをアニメーション化するために、モーション推定を実行し、2D モーションを 3D シーン フローに持ち上げます。
最後に、ポイントが前進するにつれて穴が出現する問題を解決するために、シーン フローに従ってポイント クラウドを双方向に移動し、それらをターゲット イメージ プレーンに個別に投影して結果をブレンドすることにより、新しいビューを合成することを提案します。
広範な実験により、この方法の有効性が実証されています。
私たちの方法の説得力のあるレンダリング結果を検証するために、ユーザー調査も行われます。

要約(オリジナル)

We present 3D Cinemagraphy, a new technique that marries 2D image animation with 3D photography. Given a single still image as input, our goal is to generate a video that contains both visual content animation and camera motion. We empirically find that naively combining existing 2D image animation and 3D photography methods leads to obvious artifacts or inconsistent animation. Our key insight is that representing and animating the scene in 3D space offers a natural solution to this task. To this end, we first convert the input image into feature-based layered depth images using predicted depth values, followed by unprojecting them to a feature point cloud. To animate the scene, we perform motion estimation and lift the 2D motion into the 3D scene flow. Finally, to resolve the problem of hole emergence as points move forward, we propose to bidirectionally displace the point cloud as per the scene flow and synthesize novel views by separately projecting them into target image planes and blending the results. Extensive experiments demonstrate the effectiveness of our method. A user study is also conducted to validate the compelling rendering results of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google