Learning Object Placement Programs for Indoor Scene Synthesis with Iterative Self Training

要約

データ駆動型および自己回復的な屋内シーンの合成システムは、オブジェクトを一度に1つずつ提案してから配置することにより、屋内シーンを自動的に生成します。
経験的観察は、現在のシステムが不完全な次のオブジェクトの位置分布を生成する傾向があることを示しています。
この問題に対処するシステムを紹介します。
機能的制約を指定するドメイン固有言語（DSL）を設計します。
私たちの言語からのプログラムは、配置する部分的なシーンとオブジェクトを入力します。
実行時に、可能なオブジェクトの配置を予測します。
これらのプログラムを自動的に書き込む生成モデルを設計します。
利用可能な3Dシーンデータセットには、トレーニングするプログラムが含まれていないため、新しいプログラムブートストラップアルゴリズムを導入するために、監視されていないプログラム導入の以前の作業に基づいて構築します。
経験的な観察を定量化するために、システムがオブジェクトごとの位置分布をどの程度うまくモデル化するかをキャプチャする新しい評価手順を導入します。
人間のアノテーターに、オブジェクトがシーンに移動できるすべての可能な場所にラベルを付けて、システムが人間のアノテーターとより一致するオブジェクトごとの位置分布を生成することを示すように依頼します。
また、私たちのシステムは、以前のシステムに匹敵する品質の屋内シーンを生成し、トレーニングデータがまばらである場合、以前のシステムがパフォーマンスを低下させますが、システムは同じ程度まで劣化しません。

要約(オリジナル)

Data driven and autoregressive indoor scene synthesis systems generate indoor scenes automatically by suggesting and then placing objects one at a time. Empirical observations show that current systems tend to produce incomplete next object location distributions. We introduce a system which addresses this problem. We design a Domain Specific Language (DSL) that specifies functional constraints. Programs from our language take as input a partial scene and object to place. Upon execution they predict possible object placements. We design a generative model which writes these programs automatically. Available 3D scene datasets do not contain programs to train on, so we build upon previous work in unsupervised program induction to introduce a new program bootstrapping algorithm. In order to quantify our empirical observations we introduce a new evaluation procedure which captures how well a system models per-object location distributions. We ask human annotators to label all the possible places an object can go in a scene and show that our system produces per-object location distributions more consistent with human annotators. Our system also generates indoor scenes of comparable quality to previous systems and while previous systems degrade in performance when training data is sparse, our system does not degrade to the same degree.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google