StageDesigner: Artistic Stage Generation for Scenography via Theater Scripts

要約

この作業では、レイアウト制御拡散モデルと組み合わせた大規模な言語モデルを使用して、芸術舞台生成の最初の包括的なフレームワークであるStagedesignerを紹介します。
ステージシーンの専門的な要件を考えると、ステージシグナーは、熟練したアーティストのワークフローをシミュレートして、没入型の3Dステージシーンを生成します。
具体的には、私たちのアプローチは、入力スクリプトからテーマと空間のキューを抽出するスクリプト分析の3つの主要なモジュールに分けられます。
不可欠な3Dオブジェクトを構築および配置する前景生成。
そして、背景の生成は、物語の雰囲気と整合した調和のとれた背景を生成し、前景と背景要素の間の閉塞を管理することにより空間的一貫性を維持します。
さらに、StagePro-V1データセットを紹介します。これは、このタスクに合わせて調整された、さまざまな歴史的スタイルにまたがる276のユニークなステージシーンを備えた専用のデータセットを紹介します。
最後に、広範なユーザー調査とともに、標準と新たに提案されたメトリックの両方を使用した評価は、Stagedesignerの有効性を示しています。
プロジェクトはhttps://deadsmither5.github.io/2025/01/03/stagesesigner/にあります。

要約(オリジナル)

In this work, we introduce StageDesigner, the first comprehensive framework for artistic stage generation using large language models combined with layout-controlled diffusion models. Given the professional requirements of stage scenography, StageDesigner simulates the workflows of seasoned artists to generate immersive 3D stage scenes. Specifically, our approach is divided into three primary modules: Script Analysis, which extracts thematic and spatial cues from input scripts; Foreground Generation, which constructs and arranges essential 3D objects; and Background Generation, which produces a harmonious background aligned with the narrative atmosphere and maintains spatial coherence by managing occlusions between foreground and background elements. Furthermore, we introduce the StagePro-V1 dataset, a dedicated dataset with 276 unique stage scenes spanning different historical styles and annotated with scripts, images, and detailed 3D layouts, specifically tailored for this task. Finally, evaluations using both standard and newly proposed metrics, along with extensive user studies, demonstrate the effectiveness of StageDesigner. Project can be found at: https://deadsmither5.github.io/2025/01/03/StageDesigner/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google