I-Design: Personalized LLM Interior Designer

要約

インテリアデザインは、私たちが自分らしく、思い通りに暮らすことを可能にしてくれる。しかし、専門家でない人がこれを表現し具現化するのは容易なことではありません。なぜなら、機能的・視覚的な期待と物理的な空間の制約を調整する必要があるからです。これをより身近なものにするために、私たちはI-Designを紹介します。I-Designは、ユーザーが自然言語コミュニケーションを通じてデザイン目標を生成し、視覚化することを可能にするパーソナライズされたインテリアデザイナーです。I-Designは、対話と論理的推論を互いに行う大規模な言語モデルエージェントのチームから始まり、テキストによるユーザー入力を、相対的なオブジェクト関係を持つ実現可能なシーングラフデザインに変換する。その後、効果的な配置アルゴリズムがシーン内の各オブジェクトの最適な位置を決定する。最終的なデザインは、既存のオブジェクト・データベースからアセットを検索し統合することによって3Dで構築される。さらに、視覚言語モデルを利用し、デザインパイプラインを補完する新しい評価プロトコルを提案する。広範な定量的・定性的実験により、I-Designは、高品質な3Dデザインソリューションを提供し、ユーザー入力と一致する抽象的な概念に整合させることで、既存の手法を凌駕することが示され、詳細な3D配置と概念的忠実度にわたる優位性が示された。

要約(オリジナル)

Interior design allows us to be who we are and live how we want – each design is as unique as our distinct personality. However, it is not trivial for non-professionals to express and materialize this since it requires aligning functional and visual expectations with the constraints of physical space; this renders interior design a luxury. To make it more accessible, we present I-Design, a personalized interior designer that allows users to generate and visualize their design goals through natural language communication. I-Design starts with a team of large language model agents that engage in dialogues and logical reasoning with one another, transforming textual user input into feasible scene graph designs with relative object relationships. Subsequently, an effective placement algorithm determines optimal locations for each object within the scene. The final design is then constructed in 3D by retrieving and integrating assets from an existing object database. Additionally, we propose a new evaluation protocol that utilizes a vision-language model and complements the design pipeline. Extensive quantitative and qualitative experiments show that I-Design outperforms existing methods in delivering high-quality 3D design solutions and aligning with abstract concepts that match user input, showcasing its advantages across detailed 3D arrangement and conceptual fidelity.

arxiv情報

著者 Ata Çelen,Guo Han,Konrad Schindler,Luc Van Gool,Iro Armeni,Anton Obukhov,Xi Wang
発行日 2024-04-03 16:17:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI パーマリンク