FB-4D: Spatial-Temporal Coherent Dynamic 3D Content Generation with Feature Banks

要約

拡散モデルと3D生成技術の急速な進歩により、動的な3Dコンテンツ生成が重要な研究分野になりました。
ただし、強力な空間的一貫性を備えた高忠実度4D（動的3D）生成を達成することは、困難なタスクのままです。
前処理された拡散機能が豊富な対応をキャプチャするという最近の調査結果に触発されたFB-4Dを提案します。FB-4Dは、生成されたフレームの空間的および時間的一貫性の両方を強化する機能バンクメカニズムを統合する新しい4D生成フレームワークです。
FB-4Dでは、以前のフレームから抽出された機能を保存し、それらをその後のフレームを生成するプロセスに融合し、時間と複数のビューの両方で一貫した特性を確保します。
コンパクトな表現を確保するために、機能バンクは、提案された動的マージメカニズムによって更新されます。
この機能バンクを活用して、複数の自己回帰反復を介して追加の参照シーケンスを生成することで、生成パフォーマンスを継続的に改善できることを初めて実証します。
実験結果は、FB-4Dが品質、空間的一貫性、および堅牢性をレンダリングするという点で既存の方法を大幅に上回ることを示しています。
すべてのマルチビュー生成チューニングフリーアプローチを大きなマージンで上回り、トレーニングベースの方法と同等のパフォーマンスを達成します。

要約(オリジナル)

With the rapid advancements in diffusion models and 3D generation techniques, dynamic 3D content generation has become a crucial research area. However, achieving high-fidelity 4D (dynamic 3D) generation with strong spatial-temporal consistency remains a challenging task. Inspired by recent findings that pretrained diffusion features capture rich correspondences, we propose FB-4D, a novel 4D generation framework that integrates a Feature Bank mechanism to enhance both spatial and temporal consistency in generated frames. In FB-4D, we store features extracted from previous frames and fuse them into the process of generating subsequent frames, ensuring consistent characteristics across both time and multiple views. To ensure a compact representation, the Feature Bank is updated by a proposed dynamic merging mechanism. Leveraging this Feature Bank, we demonstrate for the first time that generating additional reference sequences through multiple autoregressive iterations can continuously improve generation performance. Experimental results show that FB-4D significantly outperforms existing methods in terms of rendering quality, spatial-temporal consistency, and robustness. It surpasses all multi-view generation tuning-free approaches by a large margin and achieves performance on par with training-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google