RT-GS2: Real-Time Generalizable Semantic Segmentation for 3D Gaussian Representations of Radiance Fields

要約

ガウス スプラッティングは、リアルタイムで高いレンダリング パフォーマンスを実現することで、新しいビュー合成の世界に革命をもたらしました。
最近の研究は、下流タスクのためのセマンティック情報を使用してこれらの 3D 表現を強化することに焦点を当てています。
この論文では、ガウス スプラッティングを採用した最初の一般化可能なセマンティック セグメンテーション手法である RT-GS2 を紹介します。
既存のガウス スプラッティング ベースのアプローチはシーン固有のトレーニングに依存していますが、RT-GS2 は目に見えないシーンに一般化する機能を示しています。
私たちの手法では、最初に自己教師ありの方法でビューに依存しない 3D ガウス特徴を抽出し、その後、新しいビュー依存 / ビュー独立 (VDVI) 特徴融合を行うことで、異なるビューにわたる意味の一貫性を強化する新しいアプローチを採用しています。
3 つの異なるデータセットでの広範な実験により、セマンティック セグメンテーションの品質における最先端の方法に対する RT-GS2 の優位性が実証され、レプリカ データセットでの mIoU の 8.01% 増加によって実証されました。
さらに、私たちの手法は 27.03 FPS のリアルタイム性能を達成し、既存の手法と比較して 901 倍という驚異的な高速化を達成しました。
この研究は、我々の知る限り、輝度フィールドの 3D ガウス表現に対する初のリアルタイムの一般化可能なセマンティック セグメンテーション手法を導入することにより、この分野における重要な進歩を表しています。

要約(オリジナル)

Gaussian Splatting has revolutionized the world of novel view synthesis by achieving high rendering performance in real-time. Recently, studies have focused on enriching these 3D representations with semantic information for downstream tasks. In this paper, we introduce RT-GS2, the first generalizable semantic segmentation method employing Gaussian Splatting. While existing Gaussian Splatting-based approaches rely on scene-specific training, RT-GS2 demonstrates the ability to generalize to unseen scenes. Our method adopts a new approach by first extracting view-independent 3D Gaussian features in a self-supervised manner, followed by a novel View-Dependent / View-Independent (VDVI) feature fusion to enhance semantic consistency over different views. Extensive experimentation on three different datasets showcases RT-GS2’s superiority over the state-of-the-art methods in semantic segmentation quality, exemplified by a 8.01% increase in mIoU on the Replica dataset. Moreover, our method achieves real-time performance of 27.03 FPS, marking an astonishing 901 times speedup compared to existing approaches. This work represents a significant advancement in the field by introducing, to the best of our knowledge, the first real-time generalizable semantic segmentation method for 3D Gaussian representations of radiance fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google