The JPEG Pleno Learning-based Point Cloud Coding Standard: Serving Man and Machine

要約

効率的な点群コーディングは、仮想現実、自動運転、デジタル ツイン システムなどの複数のアプリケーションにとってますます重要になっており、リッチでインタラクティブな 3D データ表現が機能的に違いを生む可能性があります。
ディープラーニングは、この分野の強力なツールとして登場し、従来のコーディング方法よりも効率的に点群を圧縮するための高度な技術を提供すると同時に、圧縮ドメインで効果的なコンピュータ ビジョン タスクを実行できるようにすることで、初めて共通の圧縮ビジュアルを利用できるようになりました。
人間と機械の両方に効果的な表現。
この可能性を利用して、JPEG は最近、ジオメトリとカラー コーディングのディープ ラーニング モデルを活用することで、人間の視覚化と機械処理の両方を対象とした、静的点群の効率的な非可逆コーディングを提供する JPEG Pleno 学習ベースの点群コーディング (PCC) 標準を完成させました。
ジオメトリは、スパース畳み込みニューラル ネットワークを使用して元の 3D 形式で直接処理され、カラー データは 2D 画像に投影され、同じく学習ベースの JPEG AI 標準を使用してエンコードされます。
このペーパーの目的は、JPEG PCC 標準の完全な技術的説明と、その主な長所と短所を強調しながら、最先端技術とのパフォーマンスの徹底的なベンチマークを提供することです。
圧縮パフォーマンスの点では、JPEG PCC は、特にジオメトリ コーディングにおいて従来の MPEG PCC 標準を上回り、大幅なレート削減を実現します。
カラー圧縮パフォーマンスは競争力に劣りますが、ジオメトリとカラーの両方に対する完全な学習ベースのコーディング フレームワークと、関連する効果的な圧縮ドメイン処理の力によってこの問題は克服されます。

要約(オリジナル)

Efficient point cloud coding has become increasingly critical for multiple applications such as virtual reality, autonomous driving, and digital twin systems, where rich and interactive 3D data representations may functionally make the difference. Deep learning has emerged as a powerful tool in this domain, offering advanced techniques for compressing point clouds more efficiently than conventional coding methods while also allowing effective computer vision tasks performed in the compressed domain thus, for the first time, making available a common compressed visual representation effective for both man and machine. Taking advantage of this potential, JPEG has recently finalized the JPEG Pleno Learning-based Point Cloud Coding (PCC) standard offering efficient lossy coding of static point clouds, targeting both human visualization and machine processing by leveraging deep learning models for geometry and color coding. The geometry is processed directly in its original 3D form using sparse convolutional neural networks, while the color data is projected onto 2D images and encoded using the also learning-based JPEG AI standard. The goal of this paper is to provide a complete technical description of the JPEG PCC standard, along with a thorough benchmarking of its performance against the state-of-the-art, while highlighting its main strengths and weaknesses. In terms of compression performance, JPEG PCC outperforms the conventional MPEG PCC standards, especially in geometry coding, achieving significant rate reductions. Color compression performance is less competitive but this is overcome by the power of a full learning-based coding framework for both geometry and color and the associated effective compressed domain processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google