OMEGAS: Object Mesh Extraction from Large Scenes Guided by Gaussian Segmentation

要約

3D 再構築テクノロジーの最近の進歩により、複雑な 3D シーンの高品質かつリアルタイム レンダリングへの道が開かれました。
これらの成果にもかかわらず、大きなシーンから特定のオブジェクトを正確に再構築するのは難しいという、注目すべき課題が依然として残っています。
現在のシーン再構成技術では、オブジェクトの詳細テクスチャが失われることが多く、ビュー内で遮られたり見えなくなったりしたオブジェクト部分を再構成することができません。
この課題に対処するために、私たちは大規模なシーン内の特定のオブジェクトの細心の注意を払った 3D 再構成を詳しく調べ、OMEGAS: Object Mesh Extraction from Large Scenes Guided by GAussian Segmentation と呼ばれるフレームワークを提案します。
OMEGAS は、いくつかの優れた既製の方法論に基づいた複数段階のアプローチを採用しています。
具体的には、最初に、セグメント エニシング モデル (SAM) を利用して 3D ガウス スプラッティング (3DGS) のセグメンテーションをガイドし、それによってターゲット オブジェクトの基本的な 3DGS モデルを作成します。
次に、大規模な拡散事前分布を利用して 3DGS モデルの詳細をさらに調整します。特に、元のシーン ビューから見えないオブジェクト部分や遮蔽されたオブジェクト部分に対処することを目的としています。
その後、3DGS モデルをシーン ビューに再レンダリングすることで、オブジェクトの正確なセグメンテーションを実現し、背景を効果的に削除します。
最後に、これらのターゲットのみの画像を使用して 3DGS モデルをさらに改善し、SuGaR モデルによって最終的な 3D オブジェクト メッシュを抽出します。
さまざまなシナリオにおいて、私たちの実験では、OMEGAS が既存のシーン再構築手法を大幅に上回っていることが実証されました。
私たちのプロジェクト ページは https://github.com/CrystalWlz/OMEGAS にあります。

要約(オリジナル)

Recent advancements in 3D reconstruction technologies have paved the way for high-quality and real-time rendering of complex 3D scenes. Despite these achievements, a notable challenge persists: it is difficult to precisely reconstruct specific objects from large scenes. Current scene reconstruction techniques frequently result in the loss of object detail textures and are unable to reconstruct object portions that are occluded or unseen in views. To address this challenge, we delve into the meticulous 3D reconstruction of specific objects within large scenes and propose a framework termed OMEGAS: Object Mesh Extraction from Large Scenes Guided by GAussian Segmentation. OMEGAS employs a multi-step approach, grounded in several excellent off-the-shelf methodologies. Specifically, initially, we utilize the Segment Anything Model (SAM) to guide the segmentation of 3D Gaussian Splatting (3DGS), thereby creating a basic 3DGS model of the target object. Then, we leverage large-scale diffusion priors to further refine the details of the 3DGS model, especially aimed at addressing invisible or occluded object portions from the original scene views. Subsequently, by re-rendering the 3DGS model onto the scene views, we achieve accurate object segmentation and effectively remove the background. Finally, these target-only images are used to improve the 3DGS model further and extract the definitive 3D object mesh by the SuGaR model. In various scenarios, our experiments demonstrate that OMEGAS significantly surpasses existing scene reconstruction methods. Our project page is at: https://github.com/CrystalWlz/OMEGAS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google