Bits-to-Photon: End-to-End Learned Scalable Point Cloud Compression for Direct Rendering

要約

点群は、新興の AR/VR アプリケーションにおけるボリューム ストリーミングの有望な 3D 表現です。
点群圧縮の最近の進歩にもかかわらず、非可逆圧縮された点群から高品質の画像をデコードしてレンダリングすることは、品質と複雑さの点で依然として困難であり、リアルタイムの 6 自由度ビデオ ストリーミングを実現するための大きな障害となっています。
この論文では、レンダリング可能な 3D ガウスに直接デコードできるビット ストリームを生成する点群圧縮スキームを開発することで、この問題に対処します。
エンコーダとデコーダは、ビットレートとレンダリング品質の両方を考慮して共同で最適化されます。
既存の点群圧縮方法と比較して、デコードおよびレンダリング時間を大幅に短縮しながら、レンダリング品質を大幅に向上させます。
さらに、提案された方式はスケーラブルなビット ストリームを生成し、さまざまなビット レート範囲で複数レベルの詳細を実現します。
私たちの方法は、リアルタイムのカラー デコーディングと高品質の点群のレンダリングをサポートし、自由なビュー ポイントを備えたインタラクティブな 3D ストリーミング アプリケーションへの道を開きます。

要約(オリジナル)

Point cloud is a promising 3D representation for volumetric streaming in emerging AR/VR applications. Despite recent advances in point cloud compression, decoding and rendering high-quality images from lossy compressed point clouds is still challenging in terms of quality and complexity, making it a major roadblock to achieve real-time 6-Degree-of-Freedom video streaming. In this paper, we address this problem by developing a point cloud compression scheme that generates a bit stream that can be directly decoded to renderable 3D Gaussians. The encoder and decoder are jointly optimized to consider both bit-rates and rendering quality. It significantly improves the rendering quality while substantially reducing decoding and rendering time, compared to existing point cloud compression methods. Furthermore, the proposed scheme generates a scalable bit stream, allowing multiple levels of details at different bit-rate ranges. Our method supports real-time color decoding and rendering of high quality point clouds, thus paving the way for interactive 3D streaming applications with free view points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google