Random-Access Neural Compression of Material Textures

要約

レンダリングにおけるフォトリアリズムの継続的な進歩には、テクスチャ データの増加が伴い、その結果、ストレージとメモリの需要も増加します。
この問題に対処するために、マテリアル テクスチャ用に特別に設計された新しいニューラル圧縮技術を提案します。
低ビットレート圧縮を使用して、AVIF や JPEG XL などの高度な画像圧縮技術よりも優れた画質で、さらに 2 レベルの詳細、つまり 16 倍のテクセルを実現します。
同時に、私たちの方法は、GPU でのブロック テクスチャ圧縮と同様のランダム アクセスによるオンデマンドのリアルタイム解凍を可能にし、ディスクとメモリでの圧縮を可能にします。
私たちのアプローチの背後にある重要なアイデアは、複数のマテリアル テクスチャとそのミップマップ チェーンをまとめて圧縮し、マテリアルごとに最適化された小さなニューラル ネットワークを使用してそれらを解凍することです。
最後に、カスタム トレーニング実装を使用して実用的な圧縮速度を達成します。そのパフォーマンスは、PyTorch などの一般的なフレームワークのパフォーマンスを桁違いに上回ります。

要約(オリジナル)

The continuous advancement of photorealism in rendering is accompanied by a growth in texture data and, consequently, increasing storage and memory demands. To address this issue, we propose a novel neural compression technique specifically designed for material textures. We unlock two more levels of detail, i.e., 16x more texels, using low bitrate compression, with image quality that is better than advanced image compression techniques, such as AVIF and JPEG XL. At the same time, our method allows on-demand, real-time decompression with random access similar to block texture compression on GPUs, enabling compression on disk and memory. The key idea behind our approach is compressing multiple material textures and their mipmap chains together, and using a small neural network, that is optimized for each material, to decompress them. Finally, we use a custom training implementation to achieve practical compression speeds, whose performance surpasses that of general frameworks, like PyTorch, by an order of magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google