Cinematic Behavior Transfer via NeRF-based Differentiable Filming

要約

デジタル メディアとビデオ制作の進化する状況では、カメラの動きやキャラクターのアクションなどの視覚要素の正確な操作と再現が強く求められています。
既存の SLAM 手法は、動的なシーンでの制限に直面しており、人間の姿勢推定は 2D 投影に重点を置き、3D ステータスを無視することがよくあります。
これらの問題に対処するために、最初に逆撮影挙動推定手法を導入します。
NeRF を微分可能なレンダラーとして活用し、SMPL トラックを洗練することで、カメラの軌道を最適化します。
次に、さまざまなショット タイプを新しい 2D ビデオまたは 3D 仮想環境に転送できる映画の転送パイプラインを紹介します。
3D エンジン ワークフローの組み込みにより、優れたレンダリングと制御能力が可能になり、ユーザー スタディでも高い評価を獲得しました。

要約(オリジナル)

In the evolving landscape of digital media and video production, the precise manipulation and reproduction of visual elements like camera movements and character actions are highly desired. Existing SLAM methods face limitations in dynamic scenes and human pose estimation often focuses on 2D projections, neglecting 3D statuses. To address these issues, we first introduce a reverse filming behavior estimation technique. It optimizes camera trajectories by leveraging NeRF as a differentiable renderer and refining SMPL tracks. We then introduce a cinematic transfer pipeline that is able to transfer various shot types to a new 2D video or a 3D virtual environment. The incorporation of 3D engine workflow enables superior rendering and control abilities, which also achieves a higher rating in the user study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google