PartGS:Learning Part-aware 3D Representations by Fusing 2D Gaussians and Superquadrics

要約

点群、メッシュ、NeRF、3D ガウスなどの低レベルの 3D 表現は、3D オブジェクトまたはシーンを表現するためによく使用されます。
ただし、人間の知覚は通常、3D オブジェクトを点やボクセルではなくパーツや構造の構成としてより高いレベルで理解します。
3D オブジェクトまたはシーンをセマンティック パーツとして表現すると、理解と応用がさらに促進されます。
この論文では、2D $\textbf{G}$aussians と $\textbf{S}$uperquadrics のハイブリッド表現による $\textbf{PartGS}$、$\textbf{part}$ 対応の 3D 再構成を導入します。
オブジェクトまたはシーンを意味部分に解析し、マルチビュー画像入力から 3D 構造の手がかりを掘り出します。
正確な構造ジオメトリの再構築と高品質なレンダリングを同時に実現します。
私たちの方法は、ハイブリッド表現内でそれらのパラメーターを結合することにより、超二次メッシュとガウスを同時に最適化します。
一方で、このハイブリッド表現は、さまざまな形状のプリミティブを表現するための超二次関数の利点を継承し、シーンの柔軟なパーツ分解をサポートします。
一方、2D ガウスは複雑なテクスチャとジオメトリの詳細をキャプチャし、高品質の外観とジオメトリの再構築を保証します。
私たちの手法は完全に教師なしであり、DTU、ShapeNet、現実のデータセットに関する広範な実験において、既存の最先端のアプローチよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Low-level 3D representations, such as point clouds, meshes, NeRFs, and 3D Gaussians, are commonly used to represent 3D objects or scenes. However, human perception typically understands 3D objects at a higher level as a composition of parts or structures rather than points or voxels. Representing 3D objects or scenes as semantic parts can benefit further understanding and applications. In this paper, we introduce $\textbf{PartGS}$, $\textbf{part}$-aware 3D reconstruction by a hybrid representation of 2D $\textbf{G}$aussians and $\textbf{S}$uperquadrics, which parses objects or scenes into semantic parts, digging 3D structural clues from multi-view image inputs. Accurate structured geometry reconstruction and high-quality rendering are achieved at the same time. Our method simultaneously optimizes superquadric meshes and Gaussians by coupling their parameters within our hybrid representation. On one hand, this hybrid representation inherits the advantage of superquadrics to represent different shape primitives, supporting flexible part decomposition of scenes. On the other hand, 2D Gaussians capture complex texture and geometry details, ensuring high-quality appearance and geometry reconstruction. Our method is fully unsupervised and outperforms existing state-of-the-art approaches in extensive experiments on DTU, ShapeNet, and real-life datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google