FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally

要約

この研究では、2D マスクから 3D ガウス スプラッティングを正確にセグメント化するという課題に取り組みます。
従来の方法では、各ガウス分布に一意のラベルを割り当てる反復勾配降下法に依存することが多く、最適化に時間がかかり、次善の解決策が必要になります。
代わりに、3D-GS セグメンテーション用の単純でありながら全体的に最適なソルバーを提案します。
私たちの方法の中心となる洞察は、再構成された 3D-GS シーンでは、2D マスクのレンダリングが各ガウスのラベルに関して本質的に線形関数であるということです。
したがって、最適なラベルの割り当ては、閉じた形式の線形計画法によって解決できます。
このソリューションは、スプラッティング プロセスのアルファ ブレンディング特性を利用して、単一ステップの最適化を実現します。
目的関数に背景バイアスを組み込むことにより、私たちの方法は、ノイズに対する 3D セグメンテーションの優れたロバスト性を示します。
驚くべきことに、私たちの最適化は 30 秒以内に完了し、既存の最良の方法よりも約 50$\倍$ 高速です。
広範な実験により、さまざまなシーンのセグメント化における私たちの方法の効率性と堅牢性、およびオブジェクトの削除や修復などの下流タスクにおける優れたパフォーマンスが実証されています。
デモとコードは https://github.com/florinshen/FlashSplat で入手できます。

要約(オリジナル)

This study addresses the challenge of accurately segmenting 3D Gaussian Splatting from 2D masks. Conventional methods often rely on iterative gradient descent to assign each Gaussian a unique label, leading to lengthy optimization and sub-optimal solutions. Instead, we propose a straightforward yet globally optimal solver for 3D-GS segmentation. The core insight of our method is that, with a reconstructed 3D-GS scene, the rendering of the 2D masks is essentially a linear function with respect to the labels of each Gaussian. As such, the optimal label assignment can be solved via linear programming in closed form. This solution capitalizes on the alpha blending characteristic of the splatting process for single step optimization. By incorporating the background bias in our objective function, our method shows superior robustness in 3D segmentation against noises. Remarkably, our optimization completes within 30 seconds, about 50$\times$ faster than the best existing methods. Extensive experiments demonstrate the efficiency and robustness of our method in segmenting various scenes, and its superior performance in downstream tasks such as object removal and inpainting. Demos and code will be available at https://github.com/florinshen/FlashSplat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google