Learned Compression of Point Cloud Geometry and Attributes in a Single Model through Multimodal Rate-Control

要約

点群圧縮は、必要なストリーミングデータレートを大幅に削減するため、ボリューメトリックなマルチメディアを体験するために不可欠です。点属性（特に色）は、非可逆圧縮の課題を幾何学的表現にとどまらず、テクスチャとジオメトリの共同再構成を達成することへと拡張します。最新の方法では、ジオメトリと属性を分離して個別に圧縮します。これには計算コストがかかり、モダリティごとにエンコーダとデコーダが必要になります。さらに、属性圧縮法はエンコードとデコードに同じジオメトリを必要とするため、エンコーダは属性を投影し圧縮するための入力ステップとして、デコーダ側のジオメトリ再構成をエミュレートする。本研究では、単一の適応的オートエンコーダーモデルを用いて、形状と属性の共同圧縮を学習することを提案する。この手法の鍵は、両方のモダリティの望ましい品質でモデルを条件付けることにより、レート、属性品質、ジオメトリ品質の間のトレードオフの探索を置き換えることである。エンコード時に重要な点群領域を区別したり、ユーザー中心のストリーミングのためにビューに依存した圧縮を可能にするために、条件付けはポイントワイズで行われ、局所的な品質とレートの変動を可能にする。我々の評価では、形状や属性に関して最新の圧縮手法と同等の性能を示し、同時に関連する圧縮手法と比較して複雑さを軽減している。

要約(オリジナル)

Point cloud compression is essential to experience volumetric multimedia as it drastically reduces the required streaming data rates. Point attributes, specifically colors, extend the challenge of lossy compression beyond geometric representation to achieving joint reconstruction of texture and geometry. State-of-the-art methods separate geometry and attributes to compress them individually. This comes at a computational cost, requiring an encoder and a decoder for each modality. Additionally, as attribute compression methods require the same geometry for encoding and decoding, the encoder emulates the decoder-side geometry reconstruction as an input step to project and compress the attributes. In this work, we propose to learn joint compression of geometry and attributes using a single, adaptive autoencoder model, embedding both modalities into a unified latent space which is then entropy encoded. Key to the technique is to replace the search for trade-offs between rate, attribute quality and geometry quality, through conditioning the model on the desired qualities of both modalities, bypassing the need for training model ensembles. To differentiate important point cloud regions during encoding or to allow view-dependent compression for user-centered streaming, conditioning is pointwise, which allows for local quality and rate variation. Our evaluation shows comparable performance to state-of-the-art compression methods for geometry and attributes, while reducing complexity compared to related compression methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL