Single-View 3D Reconstruction via SO(2)-Equivariant Gaussian Sculpting Networks

要約

本稿では、単視点画像観測から SO(2) 等変 3D オブジェクトを再構成するアプローチとして、SO(2) 等変ガウス スカルプティング ネットワーク (GSN) を紹介します。
GSN は単一の観測値を入力として受け取り、観測されたオブジェクトのジオメトリとテクスチャを記述するガウス スプラット表現を生成します。
ガウス色、共分散、位置、不透明度をデコードする前に共有特徴抽出機能を使用することにより、GSN は非常に高いスループット (>150FPS) を達成します。
実験では、GSN はマルチビュー レンダリング損失を使用して効率的にトレーニングでき、高価な拡散ベースの再構成アルゴリズムと品質において競合できることが実証されています。
GSN モデルは複数のベンチマーク実験で検証されています。
さらに、我々は、オブジェクト中心の把握のためのロボット操作パイプライン内で GSN を使用できる可能性を実証します。

要約(オリジナル)

This paper introduces SO(2)-Equivariant Gaussian Sculpting Networks (GSNs) as an approach for SO(2)-Equivariant 3D object reconstruction from single-view image observations. GSNs take a single observation as input to generate a Gaussian splat representation describing the observed object’s geometry and texture. By using a shared feature extractor before decoding Gaussian colors, covariances, positions, and opacities, GSNs achieve extremely high throughput (>150FPS). Experiments demonstrate that GSNs can be trained efficiently using a multi-view rendering loss and are competitive, in quality, with expensive diffusion-based reconstruction algorithms. The GSN model is validated on multiple benchmark experiments. Moreover, we demonstrate the potential for GSNs to be used within a robotic manipulation pipeline for object-centric grasping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google