Neural Scene Decoration from a Single Photograph

要約

屋内シーンの提供とレンダリングは、アーティストが空間の概念設計を作成し、空間の3Dモデルを構築し、装飾してからレンダリングを実行するインテリアデザインの長年の作業でした。
この作業は重要ですが、面倒で多大な労力を必要とします。
本論文では、ドメイン固有の屋内シーン画像合成の新しい問題、すなわちニューラルシーン装飾を紹介します。
空の室内空間の写真と、ユーザーが決めたレイアウトの装飾のリストを踏まえて、同じ空間の新しいイメージを希望の家具や装飾で合成することを目指しています。
ニューラルシーンの装飾を適用して、シンプルで効果的な方法で概念的なインテリアデザインを作成できます。
この研究問題への私たちの試みは、空のシーンとオブジェクトのレイアウトをリアルな家具付きシーン写真に変換する新しいシーン生成アーキテクチャです。
提案された方法のパフォーマンスを、定性的および定量的の両方で一般的な画像変換アプローチに基づいて構築された条件付き画像合成ベースラインと比較することによって示します。
生成されたシーンの妥当性と美学をさらに検証するために、広範な実験を実施します。
私たちの実装は\url{https://github.com/hkust-vgd/neural_scene_decoration}で入手できます。

要約(オリジナル)

Furnishing and rendering indoor scenes has been a long-standing task for interior design, where artists create a conceptual design for the space, build a 3D model of the space, decorate, and then perform rendering. Although the task is important, it is tedious and requires tremendous effort. In this paper, we introduce a new problem of domain-specific indoor scene image synthesis, namely neural scene decoration. Given a photograph of an empty indoor space and a list of decorations with layout determined by user, we aim to synthesize a new image of the same space with desired furnishing and decorations. Neural scene decoration can be applied to create conceptual interior designs in a simple yet effective manner. Our attempt to this research problem is a novel scene generation architecture that transforms an empty scene and an object layout into a realistic furnished scene photograph. We demonstrate the performance of our proposed method by comparing it with conditional image synthesis baselines built upon prevailing image translation approaches both qualitatively and quantitatively. We conduct extensive experiments to further validate the plausibility and aesthetics of our generated scenes. Our implementation is available at \url{https://github.com/hkust-vgd/neural_scene_decoration}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google