Att2CPC: Attention-Guided Lossy Attribute Compression of Point Clouds

要約

3D センシングおよび取得テクノロジーの大きな進歩に伴い、点群データの量は劇的に増加しており、効率的な点群圧縮方法の開発が求められています。
この論文では、学習された非可逆点群属性圧縮 (PCAC) のタスクに焦点を当てます。
私たちは、オートエンコーダー アーキテクチャを利用して点群属性を非可逆圧縮するための効率的なアテンションベースの方法を提案します。
具体的には、エンコード側では、ローカル属性パターンを最大限に活用するために複数のダウンサンプリングを実行します。その際、効果的な外部クロス アテンション (ECA) が考案され、属性とジオメトリ コンテキストを統合することで特徴を階層的に集約します。
デコード側では、点群の属性がマルチスケール表現とゼロ パディング アップサンプリング手法に基づいて段階的に再構築されます。
私たちの知る限り、これはポイントベースの非可逆 PCAC タスクにアテンション メカニズムを導入する最初のアプローチです。
人体フレーム、まばらなオブジェクト、大規模な点群シーンなど、さまざまなシーケンスでモデルの圧縮効率を検証します。
実験の結果、最先端のポイントベースの方法である Deep-PCAC と比較した場合、私たちの方法は Y チャネルと YUV チャネルの BD-PSNR でそれぞれ平均 1.15 dB と 2.13 dB の改善を達成することが示されています。
この論文のコードは https://github.com/I2-Multimedia-Lab/Att2CPC で入手できます。

要約(オリジナル)

With the great progress of 3D sensing and acquisition technology, the volume of point cloud data has grown dramatically, which urges the development of efficient point cloud compression methods. In this paper, we focus on the task of learned lossy point cloud attribute compression (PCAC). We propose an efficient attention-based method for lossy compression of point cloud attributes leveraging on an autoencoder architecture. Specifically, at the encoding side, we conduct multiple downsampling to best exploit the local attribute patterns, in which effective External Cross Attention (ECA) is devised to hierarchically aggregate features by intergrating attributes and geometry contexts. At the decoding side, the attributes of the point cloud are progressively reconstructed based on the multi-scale representation and the zero-padding upsampling tactic. To the best of our knowledge, this is the first approach to introduce attention mechanism to point-based lossy PCAC task. We verify the compression efficiency of our model on various sequences, including human body frames, sparse objects, and large-scale point cloud scenes. Experiments show that our method achieves an average improvement of 1.15 dB and 2.13 dB in BD-PSNR of Y channel and YUV channel, respectively, when comparing with the state-of-the-art point-based method Deep-PCAC. Codes of this paper are available at https://github.com/I2-Multimedia-Lab/Att2CPC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google