Squeeze3D: Your 3D Generation Model is Secretly an Extreme Neural Compressor

要約

Squeeze3Dを提案します。これは、非常に高い圧縮比で3Dデータを圧縮するために、既存の事前訓練を受けた3D生成モデルによって学習した暗黙の事前知識を活用する新しいフレームワークです。
私たちのアプローチは、トレーニング可能なマッピングネットワークを通じて、事前に訓練されたエンコーダーと事前に訓練された生成モデルの間の潜在スペースを橋渡しします。
メッシュ、ポイントクラウド、または輝度フィールドとして表される3Dモデルは、最初に事前に訓練されたエンコーダによってエンコードされ、次に非常にコンパクトな潜在コードに変換されます（つまり、圧縮されます）。
この潜在コードは、メッシュまたはポイントクラウドの非常に圧縮された表現として効果的に使用できます。
マッピングネットワークは、圧縮された潜在コードを強力な生成モデルの潜在空間に変換し、元の3Dモデル（つまり、減圧）を再現するように条件付けられます。
Squeeze3Dは、生成された合成データで完全にトレーニングされており、3Dデータセットは必要ありません。
Squeeze3Dアーキテクチャは、既存の事前に訓練された3Dエンコーダーと既存の生成モデルで柔軟に使用できます。
メッシュ、ポイントクラウド、ラディアンスフィールドなど、さまざまな形式を柔軟にサポートできます。
私たちの実験は、Squeeze3Dがテクスチャーメッシュで最大2187倍、ポイントクラウドで55x、放射輝度フィールドで619xの圧縮比を達成し、多くの既存の方法に匹敵する視覚的品質を維持することを示しています。
Squeeze3Dは、オブジェクト固有のネットワークをトレーニングするためのオブジェクトを圧縮することを伴わないため、小さな圧縮と減圧レイテンシのみを負います。

要約(オリジナル)

We propose Squeeze3D, a novel framework that leverages implicit prior knowledge learnt by existing pre-trained 3D generative models to compress 3D data at extremely high compression ratios. Our approach bridges the latent spaces between a pre-trained encoder and a pre-trained generation model through trainable mapping networks. Any 3D model represented as a mesh, point cloud, or a radiance field is first encoded by the pre-trained encoder and then transformed (i.e. compressed) into a highly compact latent code. This latent code can effectively be used as an extremely compressed representation of the mesh or point cloud. A mapping network transforms the compressed latent code into the latent space of a powerful generative model, which is then conditioned to recreate the original 3D model (i.e. decompression). Squeeze3D is trained entirely on generated synthetic data and does not require any 3D datasets. The Squeeze3D architecture can be flexibly used with existing pre-trained 3D encoders and existing generative models. It can flexibly support different formats, including meshes, point clouds, and radiance fields. Our experiments demonstrate that Squeeze3D achieves compression ratios of up to 2187x for textured meshes, 55x for point clouds, and 619x for radiance fields while maintaining visual quality comparable to many existing methods. Squeeze3D only incurs a small compression and decompression latency since it does not involve training object-specific networks to compress an object.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google