Rendering-Oriented 3D Point Cloud Attribute Compression using Sparse Tensor-based Transformer

要約

3D ビジュアライゼーション技術の進化により、デジタル コンテンツとのやり取りの方法が根本的に変わりました。
この変化の最前線にあるのは点群テクノロジーであり、従来の 2D 表現を超える没入型エクスペリエンスを提供します。
ただし、点群のデータ サイズが膨大であるため、データ圧縮において大きな課題が生じます。
非可逆点群属性圧縮 (PCAC) の現在の方法は、一般に、最小限のエラーで元の点群を再構築することに重点を置いています。
ただし、点群視覚化シナリオの場合、歪みのある再構成された点群は依然として複雑なレンダリング プロセスを受ける必要があり、これはユーザーが知覚する最終的な品質に影響します。
この論文では、レンダリング指向 PCAC (RO-PCAC) と呼ばれる微分可能レンダリングと PCAC をシームレスに統合し、表示用にレンダリングされたマルチビュー画像の品質を直接ターゲットとする、エンドツーエンドの深層学習フレームワークを提案します。
微分可能な方法で、再構成された点群に対するレンダリング プロセスの影響が考慮されます。
さらに、点群をスパース テンソルとして特徴付け、SP-Trans と呼ばれるスパース テンソル ベースの変換器を提案します。
SP-Trans は、点群の局所密度を調整し、強化されたローカル アテンション メカニズムを利用することで、点群内の複雑な関係を捕捉し、フレームワーク内での特徴分析と合成をさらに改善します。
広範な実験により、提案された RO-PCAC が、従来の学習ベースのハイブリッド手法を含む既存の再構成指向の手法と比較して、最先端の圧縮パフォーマンスを達成することが実証されています。

要約(オリジナル)

The evolution of 3D visualization techniques has fundamentally transformed how we interact with digital content. At the forefront of this change is point cloud technology, offering an immersive experience that surpasses traditional 2D representations. However, the massive data size of point clouds presents significant challenges in data compression. Current methods for lossy point cloud attribute compression (PCAC) generally focus on reconstructing the original point clouds with minimal error. However, for point cloud visualization scenarios, the reconstructed point clouds with distortion still need to undergo a complex rendering process, which affects the final user-perceived quality. In this paper, we propose an end-to-end deep learning framework that seamlessly integrates PCAC with differentiable rendering, denoted as rendering-oriented PCAC (RO-PCAC), directly targeting the quality of rendered multiview images for viewing. In a differentiable manner, the impact of the rendering process on the reconstructed point clouds is taken into account. Moreover, we characterize point clouds as sparse tensors and propose a sparse tensor-based transformer, called SP-Trans. By aligning with the local density of the point cloud and utilizing an enhanced local attention mechanism, SP-Trans captures the intricate relationships within the point cloud, further improving feature analysis and synthesis within the framework. Extensive experiments demonstrate that the proposed RO-PCAC achieves state-of-the-art compression performance, compared to existing reconstruction-oriented methods, including traditional, learning-based, and hybrid methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google