Object-Centric Domain Randomization for 3D Shape Reconstruction in the Wild

要約

実際のシングルビュー 3D 形状再構成における最大の課題の 1 つは、実世界環境からの <3D 形状、2D 画像> のペアのデータが不足していることです。
ドメインのランダム化による顕著な成果に触発され、オブジェクトの外観と背景の視覚的変化のランダムなシミュレーションを介してそのようなペアのデータを合成する ObjectDR を提案します。
当社のデータ合成フレームワークは、条件付き生成モデル (ControlNet など) を利用して、オブジェクト コレクション (Objaverse-XL など) からの 3D 形状のレンダリング プロセスを通じて取得可能な 2.5D スケッチなどの空間条件に適合する画像を生成します。
空間条件に埋め込まれたオブジェクトのシルエットを維持しながら、さまざまなバリエーションをシミュレートするために、初期オブジェクト ガイダンスを活用する解きほぐされたフレームワークも導入します。
広範囲のデータを合成した後、それらのデータでモデルを事前トレーニングし、さまざまなドメイン間で一貫性のあるドメイン不変のジオメトリを事前にキャプチャすることを学習します。
現実世界のベンチマークで 3D 形状再構築モデルを大幅に改善することで、その有効性を検証します。
スケールアップ評価では、高品質のコンピューター グラフィックス レンダリングでの事前トレーニングと比較して、事前トレーニングは 23.6% 優れた結果を達成しました。

要約(オリジナル)

One of the biggest challenges in single-view 3D shape reconstruction in the wild is the scarcity of <3D shape, 2D image>-paired data from real-world environments. Inspired by remarkable achievements via domain randomization, we propose ObjectDR which synthesizes such paired data via a random simulation of visual variations in object appearances and backgrounds. Our data synthesis framework exploits a conditional generative model (e.g., ControlNet) to generate images conforming to spatial conditions such as 2.5D sketches, which are obtainable through a rendering process of 3D shapes from object collections (e.g., Objaverse-XL). To simulate diverse variations while preserving object silhouettes embedded in spatial conditions, we also introduce a disentangled framework which leverages an initial object guidance. After synthesizing a wide range of data, we pre-train a model on them so that it learns to capture a domain-invariant geometry prior which is consistent across various domains. We validate its effectiveness by substantially improving 3D shape reconstruction models on a real-world benchmark. In a scale-up evaluation, our pre-training achieves 23.6% superior results compared with the pre-training on high-quality computer graphics renderings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google