Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives

要約

シーンの調整された画像のセットが与えられた場合、3D プリミティブを使用して、シンプルでコンパクトで実用的な 3D 世界表現を生成するアプローチを提示します。
多くのアプローチは高忠実度の 3D シーンの復元に焦点を当てていますが、私たちはシーンを解析して、テクスチャ付きプリミティブの小さなセットで構成される中レベルの 3D 表現に焦点を当てています。
このような表現は解釈可能であり、操作が容易であり、物理ベースのシミュレーションに適しています。
さらに、3D 入力データに依存する既存の原始的な分解方法とは異なり、私たちのアプローチは微分可能なレンダリングを通じて画像に直接作用します。
具体的には、テクスチャ付き超二次メッシュとしてプリミティブをモデル化し、画像レンダリング損失を考慮してそれらのパラメーターを最初から最適化します。
各プリミティブの透明性をモデリングすることの重要性を強調します。これは最適化にとって重要であり、さまざまな数のプリミティブの処理も可能にします。
結果として得られるテクスチャ付きプリミティブが入力画像を忠実に再構築し、目に見える 3D 点を正確にモデル化しながら、目に見えないオブジェクト領域のアモーダルな形状完成を提供することを示します。
DTU のさまざまなシーンで最先端のアプローチと比較し、BlendedMVS と Nerfstudio からの実際のキャプチャでその堅牢性を実証します。
また、その結果を使用してシーンを簡単に編集したり、物理シミュレーションを実行したりする方法も紹介します。
コードとビデオの結果は https://www.tmonnier.com/DBW で入手できます。

要約(オリジナル)

Given a set of calibrated images of a scene, we present an approach that produces a simple, compact, and actionable 3D world representation by means of 3D primitives. While many approaches focus on recovering high-fidelity 3D scenes, we focus on parsing a scene into mid-level 3D representations made of a small set of textured primitives. Such representations are interpretable, easy to manipulate and suited for physics-based simulations. Moreover, unlike existing primitive decomposition methods that rely on 3D input data, our approach operates directly on images through differentiable rendering. Specifically, we model primitives as textured superquadric meshes and optimize their parameters from scratch with an image rendering loss. We highlight the importance of modeling transparency for each primitive, which is critical for optimization and also enables handling varying numbers of primitives. We show that the resulting textured primitives faithfully reconstruct the input images and accurately model the visible 3D points, while providing amodal shape completions of unseen object regions. We compare our approach to the state of the art on diverse scenes from DTU, and demonstrate its robustness on real-life captures from BlendedMVS and Nerfstudio. We also showcase how our results can be used to effortlessly edit a scene or perform physical simulations. Code and video results are available at https://www.tmonnier.com/DBW .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google