Tell2Design: A Dataset for Language-Guided Floor Plan Generation

要約

私たちは、自然言語記述から直接デザインを生成するタスクを検討し、最初の研究領域としてフロア プランの生成を検討します。
言語条件付き生成モデルは、最近、高品質の芸術的画像を生成することに非常に成功しています。
ただし、デザインは、芸術的なイメージの生成には存在しないさまざまな制約、特に空間的および関係的な制約を満たさなければなりません。
私たちはこの課題に関する研究を開始するために複数の貢献を行っています。
まず、新しいデータセット \textit{Tell2Design} (T2D) を紹介します。これには、自然言語命令に関連付けられた 80,000 ドルを超える間取り設計が含まれています。
第 2 に、将来の研究の強力なベースラインとして機能する Sequence-to-Sequence モデルを提案します。
3 番目に、いくつかのテキスト条件付き画像生成モデルを使用してこのタスクのベンチマークを行います。
最後に、生成されたサンプルに対して人間による評価を実施し、人間によるパフォーマンスの分析を提供します。
私たちの貢献が、言語に基づくデザイン生成の研究を前進させることを願っています。

要約(オリジナル)

We consider the task of generating designs directly from natural language descriptions, and consider floor plan generation as the initial research area. Language conditional generative models have recently been very successful in generating high-quality artistic images. However, designs must satisfy different constraints that are not present in generating artistic images, particularly spatial and relational constraints. We make multiple contributions to initiate research on this task. First, we introduce a novel dataset, \textit{Tell2Design} (T2D), which contains more than $80k$ floor plan designs associated with natural language instructions. Second, we propose a Sequence-to-Sequence model that can serve as a strong baseline for future research. Third, we benchmark this task with several text-conditional image generation models. We conclude by conducting human evaluations on the generated samples and providing an analysis of human performance. We hope our contributions will propel the research on language-guided design generation forward.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google