Floating No More: Object-Ground Reconstruction from a Single Image

要約

単一画像からの 3D オブジェクト再構成における最近の進歩は、主にオブジェクト形状の精度の向上に焦点を当てています。
しかし、これらの技術では、物体、地面、カメラの間の相互関係を正確に捉えることができないことがよくあります。
その結果、再構築されたオブジェクトは、平らな面に置くと浮いて見えるか傾いて見えることがよくあります。
この制限は、シャドウ レンダリングやオブジェクト ポーズ操作などの 3D 対応画像編集アプリケーションに大きな影響を与えます。
この問題に対処するために、地面と組み合わせて 3D オブジェクトのジオメトリを再構築することを目的とした新しいタスクである ORG (Object Reconstruction with Ground) を導入します。
私たちの方法では、2 つのコンパクトなピクセル レベルの表現を使用して、カメラ、オブジェクト、地面の間の関係を表現します。
実験の結果、提案された ORG モデルは、目に見えないデータ上で物体と地面の幾何学形状を効果的に再構築でき、従来の単一画像 3D 再構築技術と比較して、影の生成とポーズ操作の品質が大幅に向上することが示されています。

要約(オリジナル)

Recent advancements in 3D object reconstruction from single images have primarily focused on improving the accuracy of object shapes. Yet, these techniques often fail to accurately capture the inter-relation between the object, ground, and camera. As a result, the reconstructed objects often appear floating or tilted when placed on flat surfaces. This limitation significantly affects 3D-aware image editing applications like shadow rendering and object pose manipulation. To address this issue, we introduce ORG (Object Reconstruction with Ground), a novel task aimed at reconstructing 3D object geometry in conjunction with the ground surface. Our method uses two compact pixel-level representations to depict the relationship between camera, object, and ground. Experiments show that the proposed ORG model can effectively reconstruct object-ground geometry on unseen data, significantly enhancing the quality of shadow generation and pose manipulation compared to conventional single-image 3D reconstruction techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google