DStruct2Design: Data and Benchmarks for Data Structure Driven Generative Floor Plan Design

要約

テキスト条件付き画像生成モデルは、印象的な結果をもたらしました。
特別なタイプのラスター イメージ生成タスクとしてのテキスト条件付きフロアプラン生成も、特に注目を集めました。
ただし、フロアプラの生成には、生成された結果の数値特性が見た目の美しさよりも重要であるユースケースが数多くあります。
たとえば、フロアプラン内の特定の部屋のサイズを指定し、生成されたフロアプランを指定された仕様と比較したい場合があります。現在のアプローチ、データセット、および一般的に使用されている評価は、この種の制約をサポートしていません。
したがって、魅力的な戦略は、最終的なフロアプラン イメージの生成に使用できるフロアプランの数値プロパティを含む中間データ構造を生成することです。
この設定を調査するために、(1) 2 つの一般的な画像ベースのフロアプラン データセット RPLAN と ProcTHOR-10k を使用して、フロアプラン生成のこのデータ構造からデータ構造への定式化のための新しいデータセットを構築し、さらに手続き的に生成された ProcTHOR フロアプラン データを変換するツールを提供します。
私たちのフォーマットに。
(2) 部分的または完全な制約セットを与えてフロアプラン生成のタスクを調査し、モデルから生成されたサンプルがどの程度制約を遵守しているかを評価できるようにするための一連のメトリクスとベンチマークを設計します。
(3) 大規模言語モデル (LLM) である Llama3 を微調整することによって複数のベースラインを作成し、数値制約を考慮したフロアプラン生成の問題に対してフロアプラン データ構造条件付き LLM を使用する実現可能性を実証します。
私たちは、新しいデータセットとベンチマークが、量的制約が部分的にしか指定されていないが尊重する必要がある設計を生成するための LLM やその他の生成モデリング手法のパフォーマンスを向上させるさまざまな方法に関するさらなる研究を促進することを願っています。

要約(オリジナル)

Text conditioned generative models for images have yielded impressive results. Text conditioned floorplan generation as a special type of raster image generation task also received particular attention. However there are many use cases in floorpla generation where numerical properties of the generated result are more important than the aesthetics. For instance, one might want to specify sizes for certain rooms in a floorplan and compare the generated floorplan with given specifications Current approaches, datasets and commonly used evaluations do not support these kinds of constraints. As such, an attractive strategy is to generate an intermediate data structure that contains numerical properties of a floorplan which can be used to generate the final floorplan image. To explore this setting we (1) construct a new dataset for this data-structure to data-structure formulation of floorplan generation using two popular image based floorplan datasets RPLAN and ProcTHOR-10k, and provide the tools to convert further procedurally generated ProcTHOR floorplan data into our format. (2) We explore the task of floorplan generation given a partial or complete set of constraints and we design a series of metrics and benchmarks to enable evaluating how well samples generated from models respect the constraints. (3) We create multiple baselines by finetuning a large language model (LLM), Llama3, and demonstrate the feasibility of using floorplan data structure conditioned LLMs for the problem of floorplan generation respecting numerical constraints. We hope that our new datasets and benchmarks will encourage further research on different ways to improve the performance of LLMs and other generative modelling techniques for generating designs where quantitative constraints are only partially specified, but must be respected.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google