要約
3D ガウス スプラッティング (3DGS) の急速な進歩により、3D モデリングと画像レンダリングで 3D ガウスが一般的になりましたが、これによりデータの保存と送信に大きな課題が生じています。
非常にコンパクトな 3DGS 表現を取得するために、ガウス スプラッティング (HEMGS) データ圧縮用のハイブリッド エントロピー モデルを提案します。このモデルは、ハイパープリア ネットワークと自己回帰ネットワークという 2 つの主要コンポーネントで構成されます。
属性間の構造的冗長性を効果的に削減するために、プログレッシブ コーディング アルゴリズムを適用して超事前特徴を生成します。このアルゴリズムでは、以前に圧縮された属性と位置を事前情報として使用します。
特に、これらの圧縮された属性から位置特徴をより適切に抽出するために、追加のストレージ コストを発生させずにドメイン対応の構造関係をそれぞれキャプチャし、MLP を通じてシーン固有の特徴を明らかにするために、ドメイン対応およびインスタンス対応のアーキテクチャを採用しています。
さらに、各属性内の冗長性を減らすために、自己回帰ネットワークを通じて属性内の隣接する圧縮要素間の関係を利用します。
そのユニークな構造を考慮して、隣接する圧縮要素を効果的にキャプチャするための柔軟な受容野を備えた適応コンテキストコーディングアルゴリズムを提案します。
全体として、HEMGS をエンドツーエンドで最適化された 3DGS 圧縮フレームワークに統合しており、4 つのベンチマークに関する広範な実験結果は、この方法がベースライン方法と比較してレンダリング品質を維持し、状態を維持しながら、平均約 40% のサイズ削減を達成していることを示しています。
最先端の圧縮結果。
要約(オリジナル)
Fast progress in 3D Gaussian Splatting (3DGS) has made 3D Gaussians popular for 3D modeling and image rendering, but this creates big challenges in data storage and transmission. To obtain a highly compact 3DGS representation, we propose a hybrid entropy model for Gaussian Splatting (HEMGS) data compression, which comprises two primary components, a hyperprior network and an autoregressive network. To effectively reduce structural redundancy across attributes, we apply a progressive coding algorithm to generate hyperprior features, in which we use previously compressed attributes and location as prior information. In particular, to better extract the location features from these compressed attributes, we adopt a domain-aware and instance-aware architecture to respectively capture domain-aware structural relations without additional storage costs and reveal scene-specific features through MLPs. Additionally, to reduce redundancy within each attribute, we leverage relationships between neighboring compressed elements within the attributes through an autoregressive network. Given its unique structure, we propose an adaptive context coding algorithm with flexible receptive fields to effectively capture adjacent compressed elements. Overall, we integrate our HEMGS into an end-to-end optimized 3DGS compression framework and the extensive experimental results on four benchmarks indicate that our method achieves about 40\% average reduction in size while maintaining the rendering quality over our baseline method and achieving state-of-the-art compression results.
arxiv情報
| 著者 | Lei Liu,Zhenghao Chen,Dong Xu |
| 発行日 | 2024-11-27 16:08:59+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google