Deblur-Avatar: Animatable Avatars from Motion-Blurred Monocular Videos

要約

運動式モノクーラービデオ入力からの高忠実度のある3Dヒトアバターをモデル化するための新しいフレームワークを紹介します。
モーションブラーは、特に3Dヒトアバターモデリングの人間の動きのために、実際の動的ビデオキャプチャで一般的です。
既存のメソッドのいずれかのいずれかのいずれかのいずれかのいずれかのいずれかのいずれかの場合、鋭い画像入力を想定しており、モーションブラーによって導入された詳細損失に対処できないか、（2）主にカメラの動きによってぼやけを考慮し、アニメーション可能なアバターでより一般的な人間のモーションブラーを無視します。
提案されているアプローチは、人間の動きに基づいた運動ぼかしモデルを3Dガウススプラッティング（3DG）に統合します。
曝露時に人間の動きの軌跡を明示的にモデル化することにより、軌跡と3Dガウス派を共同で最適化して、鋭く高品質の人間のアバターを再構築します。
私たちは、動く体領域を区別し、ぼやけた領域と鋭い領域の両方を効果的に最適化するために、ポーズ依存の融合メカニズムを採用しています。
合成および実世界のデータセットに関する広範な実験は、この方法が品質と定量的メトリックをレンダリングし、鋭いアバターの再構成を生成し、挑戦的なモーションブラー条件下でリアルタイムのレンダリングを可能にすることで既存の方法を大幅に上回ることを示しています。

要約(オリジナル)

We introduce a novel framework for modeling high-fidelity, animatable 3D human avatars from motion-blurred monocular video inputs. Motion blur is prevalent in real-world dynamic video capture, especially due to human movements in 3D human avatar modeling. Existing methods either (1) assume sharp image inputs, failing to address the detail loss introduced by motion blur, or (2) mainly consider blur by camera movements, neglecting the human motion blur which is more common in animatable avatars. Our proposed approach integrates a human movement-based motion blur model into 3D Gaussian Splatting (3DGS). By explicitly modeling human motion trajectories during exposure time, we jointly optimize the trajectories and 3D Gaussians to reconstruct sharp, high-quality human avatars. We employ a pose-dependent fusion mechanism to distinguish moving body regions, optimizing both blurred and sharp areas effectively. Extensive experiments on synthetic and real-world datasets demonstrate that our method significantly outperforms existing methods in rendering quality and quantitative metrics, producing sharp avatar reconstructions and enabling real-time rendering under challenging motion blur conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google