SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image

要約

スナップショット圧縮イメージング (SCI) は、高速の動的シーンの情報をキャプチャする可能性を提供するため、シーン情報を回復するための効率的な再構成方法が必要です。
有望な結果にもかかわらず、現在の深層学習ベースおよび NeRF ベースの再構成手法は課題に直面しています。1) 深層学習ベースの再構成手法は、シーン内の 3D 構造の一貫性を維持するのに苦労しており、2) NeRF ベースの再構成手法は、動的なシーンの処理において依然として限界に直面しています。
。
これらの課題に対処するために、私たちは 3DGS の変形である SCIGS を提案し、カメラのポーズ スタンプとガウス プリミティブ座標を埋め込みベクトルとして利用するプリミティブ レベルの変換ネットワークを開発します。
このアプローチは、バニラ 3DGS でのカメラ ポーズの必要性を解決し、変換されたプリミティブを利用することで動的シーンでのマルチビュー 3D 構造の一貫性を強化します。
さらに、変換中に生成されるアーティファクトを除去するために高周波フィルターが導入されています。
提案された SCIGS は、単一の圧縮画像から 3D 明示的なシーンを再構築する最初の手法であり、その適用範囲を動的な 3D シーンに拡張します。
静的シーンと動的シーンの両方での実験では、SCIGS が SCI デコードを強化するだけでなく、単一の圧縮画像から動的 3D シーンを再構成する際に現在の最先端の方法よりも優れたパフォーマンスを発揮することが実証されました。
コードは公開され次第公開されます。

要約(オリジナル)

Snapshot Compressive Imaging (SCI) offers a possibility for capturing information in high-speed dynamic scenes, requiring efficient reconstruction method to recover scene information. Despite promising results, current deep learning-based and NeRF-based reconstruction methods face challenges: 1) deep learning-based reconstruction methods struggle to maintain 3D structural consistency within scenes, and 2) NeRF-based reconstruction methods still face limitations in handling dynamic scenes. To address these challenges, we propose SCIGS, a variant of 3DGS, and develop a primitive-level transformation network that utilizes camera pose stamps and Gaussian primitive coordinates as embedding vectors. This approach resolves the necessity of camera pose in vanilla 3DGS and enhances multi-view 3D structural consistency in dynamic scenes by utilizing transformed primitives. Additionally, a high-frequency filter is introduced to eliminate the artifacts generated during the transformation. The proposed SCIGS is the first to reconstruct a 3D explicit scene from a single compressed image, extending its application to dynamic 3D scenes. Experiments on both static and dynamic scenes demonstrate that SCIGS not only enhances SCI decoding but also outperforms current state-of-the-art methods in reconstructing dynamic 3D scenes from a single compressed image. The code will be made available upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google