Multi-Frequency-Aware Patch Adversarial Learning for Neural Point Cloud Rendering

要約

我々は、新しい多周波を考慮したパッチ敵対的学習フレームワークによるニューラル点群レンダリングパイプラインを提案する。提案手法は、実画像と合成画像の間のスペクトル不一致、特に視覚的に画像のボケの原因となる高周波の局所的な鮮鋭度情報を最小化することで、レンダリングのリアルさを向上させることを目的としている。具体的には、実画像の大局的・局所的なスペクトル分布を生成器にとらえさせるため、空間（RGB）領域の識別器に加えて、スペクトル領域（フーリエ変換、離散ウェーブレット変換）の識別器を組み合わせたパッチ多重識別器方式を敵対学習用に提案する。提案するマルチ識別器は、レンダリングのリアルさを向上させるだけでなく、敵対的学習の収束速度と安定性を向上させるのに有効である。さらに、ノイズに強いボクセル化手法を導入し、外観距離と空間距離の両方を利用して、深度ノイズに起因する空間的な異常点を排除する。我々のアーキテクチャ全体は完全に微分可能であり、エンドツーエンドで学習することが可能である。本手法は、広範囲な実験により、ニューラル点群レンダリングにおいて有意な差をもって最先端の結果をもたらすことが示されています。ソースコードは後日公開する予定です。

要約(オリジナル)

We present a neural point cloud rendering pipeline through a novel multi-frequency-aware patch adversarial learning framework. The proposed approach aims to improve the rendering realness by minimizing the spectrum discrepancy between real and synthesized images, especially on the high-frequency localized sharpness information which causes image blur visually. Specifically, a patch multi-discriminator scheme is proposed for the adversarial learning, which combines both spectral domain (Fourier Transform and Discrete Wavelet Transform) discriminators as well as the spatial (RGB) domain discriminator to force the generator to capture global and local spectral distributions of the real images. The proposed multi-discriminator scheme not only helps to improve rendering realness, but also enhance the convergence speed and stability of adversarial learning. Moreover, we introduce a noise-resistant voxelisation approach by utilizing both the appearance distance and spatial distance to exclude the spatial outlier points caused by depth noise. Our entire architecture is fully differentiable and can be learned in an end-to-end fashion. Extensive experiments show that our method produces state-of-the-art results for neural point cloud rendering by a significant margin. Our source code will be made public at a later date.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL