ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

要約

3D ガウス スプラッティング (3DGS) は、多くの視覚タスクにおける 3D 表現の事実上の方法となっています。
これには、この表現空間で直接 3D を理解することが必要です。
この方向の研究を促進するために、まず、一般的に使用される ShapeNet および ModelNet データセットを使用して 3DGS の大規模なデータセットを構築します。
私たちのデータセット ShapeSplat は、87 の固有のカテゴリからの 65,000 のオブジェクトで構成されており、そのラベルはそれぞれのデータセットに従っています。
このデータセットの作成には、TITAN XP GPU で 2 GPU 年に相当するコンピューティングが利用されました。
私たちはデータセットを教師なし事前トレーニングと分類およびセグメンテーションタスクの教師あり微調整に利用します。
この目的を達成するために、\textbf{\textit{Gaussian-MAE}} を導入します。これは、ガウス パラメーターから学習した表現の独自の利点を強調します。
徹底的な実験を通じて、私たちはいくつかの貴重な洞察を提供します。
特に、(1) 最適化された GS 重心の分布は、(初期化に使用された) 均一にサンプリングされた点群とは大きく異なることを示します。
(2) この分布の変化により、分類は低下しますが、重心のみを使用した場合のセグメンテーション タスクは改善されます。
(3) 追加のガウス パラメーターを活用するために、スプラット プーリング層とともに正規化された特徴空間でのガウス特徴グループ化を提案し、同様のガウスを効果的にグループ化して埋め込むためのカスタマイズされたソリューションを提供します。これにより、微調整タスクの顕著な改善につながります。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textbf{\textit{Gaussian-MAE}}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google