HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation

要約

シーンレベルの3D世代は、マルチメディアとコンピューターグラフィックスの重要なフロンティアを表していますが、既存のアプローチは、限られたオブジェクトカテゴリに悩まされるか、インタラクティブアプリケーションの柔軟性の編集を欠いています。
この論文では、2D画像生成と3Dオブジェクト生成のギャップを埋め、作曲のアイデンティティと美的シーンのコンテンツを備えた高忠実度のシーンを提供する新しい階層的なフレームワークであるHisceneを紹介します。
私たちの重要な洞察は、等尺性ビューの下でシーンを階層的な「オブジェクト」として扱うことです。そこでは、部屋は操作可能なアイテムにさらに分解できる複雑なオブジェクトとして機能します。
この階層的アプローチにより、構成構造を維持しながら2D表現と整列する3Dコンテンツを生成できます。
各分解されたインスタンスの完全性と空間的アライメントを確保するために、オブジェクト間の閉塞と影を効果的に処理するビデオ拡散ベースのアモダル完了手法を開発し、シーン内の空間的一貫性を確保するために形状の事前注入を導入します。
実験結果は、この方法がより自然なオブジェクトの配置とインタラクティブなアプリケーションに適した完全なオブジェクトインスタンスを生成し、ユーザー入力との物理的妥当性と整合性を維持することを示しています。

要約(オリジナル)

Scene-level 3D generation represents a critical frontier in multimedia and computer graphics, yet existing approaches either suffer from limited object categories or lack editing flexibility for interactive applications. In this paper, we present HiScene, a novel hierarchical framework that bridges the gap between 2D image generation and 3D object generation and delivers high-fidelity scenes with compositional identities and aesthetic scene content. Our key insight is treating scenes as hierarchical ‘objects’ under isometric views, where a room functions as a complex object that can be further decomposed into manipulatable items. This hierarchical approach enables us to generate 3D content that aligns with 2D representations while maintaining compositional structure. To ensure completeness and spatial alignment of each decomposed instance, we develop a video-diffusion-based amodal completion technique that effectively handles occlusions and shadows between objects, and introduce shape prior injection to ensure spatial coherence within the scene. Experimental results demonstrate that our method produces more natural object arrangements and complete object instances suitable for interactive applications, while maintaining physical plausibility and alignment with user inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google