Structure from Duplicates: Neural Inverse Graphics from a Pile of Objects

要約

私たちの世界は同一の物体 (例: コーラの缶、同じモデルの車) でいっぱいです。
これらの複製を一緒に見ると、3D について効果的に推論するための追加の強力な手がかりが得られます。
この観察に触発されて、複数の同一オブジェクトを含む単一の画像からジオメトリ、マテリアル、照明を再構築する新しい逆グラフィックス フレームワークである Structure from Duplicates (SfD) を紹介します。
SfD は、画像内のオブジェクトの複数のインスタンスを識別することから始まり、すべてのインスタンスの 6DoF ポーズを共同で推定します。その後、逆グラフィックス パイプラインを使用して、オブジェクトの形状、材質、および環境光を共同で推論します。
インスタンス間で共有されるジオメトリとマテリアルの制約に適用されます。
私たちの主な貢献には、単一画像逆グラフィックスのためのロバストな事前分布としてオブジェクトの複製を利用することと、結合 6-DoF オブジェクト姿勢推定のための面内回転ロバストな Structure from Motion (SfM) 定式化の提案が含まれます。
SfD は、単一画像からのマルチビュー キューを活用することで、より現実的で詳細な 3D 再構成を生成し、既存の単一画像再構成モデ​​ルや、同様またはそれ以上の観測数によるマルチビュー再構成アプローチよりも大幅に優れたパフォーマンスを発揮します。

要約(オリジナル)

Our world is full of identical objects (\emphe.g., cans of coke, cars of same model). These duplicates, when seen together, provide additional and strong cues for us to effectively reason about 3D. Inspired by this observation, we introduce Structure from Duplicates (SfD), a novel inverse graphics framework that reconstructs geometry, material, and illumination from a single image containing multiple identical objects. SfD begins by identifying multiple instances of an object within an image, and then jointly estimates the 6DoF pose for all instances.An inverse graphics pipeline is subsequently employed to jointly reason about the shape, material of the object, and the environment light, while adhering to the shared geometry and material constraint across instances. Our primary contributions involve utilizing object duplicates as a robust prior for single-image inverse graphics and proposing an in-plane rotation-robust Structure from Motion (SfM) formulation for joint 6-DoF object pose estimation. By leveraging multi-view cues from a single image, SfD generates more realistic and detailed 3D reconstructions, significantly outperforming existing single image reconstruction models and multi-view reconstruction approaches with a similar or greater number of observations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google