DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion

要約

このペーパーでは、ビデオ拡散を使用して単一の画像からフォトリアリスティックな 3D および 4D シーンを生成するように設計されたフレームワークである \textbf{DimensionX} を紹介します。
私たちのアプローチは、3D シーンの空間構造と 4D シーンの時間的展開の両方がビデオ フレームのシーケンスを通じて効果的に表現できるという洞察から始まります。
最近のビデオ拡散モデルは、鮮明なビジュアルを生成することに目覚ましい成功を収めていますが、生成中の空間的および時間的制御能力が限られているため、3D/4D シーンを直接復元するには限界に直面しています。
これを克服するために、次元可変データから次元を意識した LoRA を学習することで、ビデオ拡散における空間的要因と時間的要因を分離する ST-Director を提案します。
この制御可能なビデオ拡散アプローチにより、空間構造と時間ダイナミクスの正確な操作が可能になり、空間次元と時間次元を組み合わせた連続フレームから 3D 表現と 4D 表現の両方を再構築できるようになります。
さらに、生成されたビデオと現実世界のシーンの間のギャップを埋めるために、3D 生成には軌道認識メカニズムを導入し、4D 生成にはアイデンティティを保持するノイズ除去戦略を導入します。
さまざまな現実世界および合成データセットに対する広範な実験により、DimensionX が以前の方法と比較して、制御可能なビデオ生成や 3D および 4D シーンの生成において優れた結果を達成できることが実証されています。

要約(オリジナル)

In this paper, we introduce \textbf{DimensionX}, a framework designed to generate photorealistic 3D and 4D scenes from just a single image with video diffusion. Our approach begins with the insight that both the spatial structure of a 3D scene and the temporal evolution of a 4D scene can be effectively represented through sequences of video frames. While recent video diffusion models have shown remarkable success in producing vivid visuals, they face limitations in directly recovering 3D/4D scenes due to limited spatial and temporal controllability during generation. To overcome this, we propose ST-Director, which decouples spatial and temporal factors in video diffusion by learning dimension-aware LoRAs from dimension-variant data. This controllable video diffusion approach enables precise manipulation of spatial structure and temporal dynamics, allowing us to reconstruct both 3D and 4D representations from sequential frames with the combination of spatial and temporal dimensions. Additionally, to bridge the gap between generated videos and real-world scenes, we introduce a trajectory-aware mechanism for 3D generation and an identity-preserving denoising strategy for 4D generation. Extensive experiments on various real-world and synthetic datasets demonstrate that DimensionX achieves superior results in controllable video generation, as well as in 3D and 4D scene generation, compared with previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google