Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User’s Casual Sketches

要約

3D コンテンツ生成は、ビデオ ゲーム、映画制作、仮想現実や拡張現実などを含む多くのコンピューター グラフィックス アプリケーションの中心です。この論文では、インタラクティブでプレイ可能な 3D ゲーム シーンをすべて自動的に生成するための、新しいディープラーニング ベースのアプローチを提案します。
手書きのスケッチなどのユーザーの何気ないプロンプト。
スケッチベースの入力は、コンテンツ作成プロセスにおいてユーザーのデザイン意図を伝えるための自然かつ便利な方法を提供します。
学習におけるデータ不足の課題 (つまり、3D シーンの大規模なトレーニング データの不足) を回避するために、私たちの方法では、事前トレーニングされた 2D ノイズ除去拡散モデルを利用して、概念的なガイダンスとしてシーンの 2D 画像を生成します。
このプロセスでは、等角投影モードを採用して、シーンのレイアウトを取得しながら未知のカメラのポーズを除外します。
生成されたアイソメトリック画像から、事前にトレーニングされた画像理解手法を使用して、画像を地上の物体、樹木、建物などの意味のある部分に分割し、2D シーンのレイアウトを抽出します。
これらのセグメントとレイアウトは、その後、Unity や Unreal などの 3D ビデオ ゲーム エンジンなどの手続き型コンテンツ生成 (PCG) エンジンに供給されて、3D シーンが作成されます。
結果として得られる 3D シーンは、ゲーム開発環境にシームレスに統合でき、すぐにプレイ可能です。
広範なテストにより、私たちの方法がユーザーの意図に忠実なレイアウトを備えた高品質でインタラクティブな 3D ゲーム シーンを効率的に生成できることが実証されました。

要約(オリジナル)

3D Content Generation is at the heart of many computer graphics applications, including video gaming, film-making, virtual and augmented reality, etc. This paper proposes a novel deep-learning based approach for automatically generating interactive and playable 3D game scenes, all from the user’s casual prompts such as a hand-drawn sketch. Sketch-based input offers a natural, and convenient way to convey the user’s design intention in the content creation process. To circumvent the data-deficient challenge in learning (i.e. the lack of large training data of 3D scenes), our method leverages a pre-trained 2D denoising diffusion model to generate a 2D image of the scene as the conceptual guidance. In this process, we adopt the isometric projection mode to factor out unknown camera poses while obtaining the scene layout. From the generated isometric image, we use a pre-trained image understanding method to segment the image into meaningful parts, such as off-ground objects, trees, and buildings, and extract the 2D scene layout. These segments and layouts are subsequently fed into a procedural content generation (PCG) engine, such as a 3D video game engine like Unity or Unreal, to create the 3D scene. The resulting 3D scene can be seamlessly integrated into a game development environment and is readily playable. Extensive tests demonstrate that our method can efficiently generate high-quality and interactive 3D game scenes with layouts that closely follow the user’s intention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google