GRASP-Net: Geometric Residual Analysis and Synthesis for Point Cloud Compression

要約

点群圧縮（PCC）は、点群フォーマットの普遍性により、様々な3Dアプリケーションの主要な実現手段となっている。理想的には、3次元点群はオブジェクトやシーンの表面を連続的に描写するように努めている。しかし、実際には、点群は離散的なサンプルの集合であるため、局所的にばらばらに分布しています。この疎な性質が、点群間の局所的な相関を発見して圧縮することを妨げている。フラクタル次元の分析に動機づけられ、我々はロッシーな点群形状圧縮のためのディープラーニングを用いたヘテロジニアスアプローチを提案する。入力の粗い表現を圧縮するベース層の上に、困難な幾何学的残差/細部に対処するためのエンハンスメント層が設計されている。具体的には、点ベースのネットワークが、不規則な局所的な詳細を粗い点群に存在する潜在的な特徴に変換するために適用される。次に、粗い点群上で動作する疎な畳み込みニューラルネットワークが起動される。粗い形状の連続性や滑らかさを利用して、潜在的な特徴をエンハンスメントビットストリームとして圧縮し、再構成品質を大幅に向上させる。パケットロスなどでこのビットストリームが利用できない場合は、粗い点群から直接幾何学的な詳細を生成するスキップモードを同じアーキテクチャでサポートする。密な点群と疎な点群の両方に対する実験により、我々の提案によって達成された最先端の圧縮性能が実証された。我々のコードは https://github.com/InterDigitalInc/GRASP-Net で公開されている。

要約(オリジナル)

Point cloud compression (PCC) is a key enabler for various 3-D applications, owing to the universality of the point cloud format. Ideally, 3D point clouds endeavor to depict object/scene surfaces that are continuous. Practically, as a set of discrete samples, point clouds are locally disconnected and sparsely distributed. This sparse nature is hindering the discovery of local correlation among points for compression. Motivated by an analysis with fractal dimension, we propose a heterogeneous approach with deep learning for lossy point cloud geometry compression. On top of a base layer compressing a coarse representation of the input, an enhancement layer is designed to cope with the challenging geometric residual/details. Specifically, a point-based network is applied to convert the erratic local details to latent features residing on the coarse point cloud. Then a sparse convolutional neural network operating on the coarse point cloud is launched. It utilizes the continuity/smoothness of the coarse geometry to compress the latent features as an enhancement bit-stream that greatly benefits the reconstruction quality. When this bit-stream is unavailable, e.g., due to packet loss, we support a skip mode with the same architecture which generates geometric details from the coarse point cloud directly. Experimentation on both dense and sparse point clouds demonstrate the state-of-the-art compression performance achieved by our proposal. Our code is available at https://github.com/InterDigitalInc/GRASP-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL