Pixel-wise Guidance for Utilizing Auxiliary Features in Monte Carlo Denoising

要約

タイトル：
・MCデノイジングにおける補助フィーチャーの利用に対するピクセル単位のガイダンス

要約：
・ジオメトリバッファ（Gバッファ）やパスディスクリプタ（Pバッファ）などの補助フィーチャーは、Monte Carlo（MC）デノイジングの改善に大きく貢献することが示されている。
・しかしながら、最近のアプローチは補助フィーチャーを暗黙的に学習してデノイズに利用することに依存しており、各種補助フィーチャーの十分な利用を妨げる可能性がある。
・この問題を克服するため、補助フィーチャーを利用するための明示的なピクセル単位のガイダンスに依存するデノイジングフレームワークを提案する。
・最初に、異なる補助フィーチャー（すなわち、GバッファまたはPバッファ）でトレーニングされた2つのデノイザーをトレーニングする。
・次に、ピクセルごとのアンサンブル重みマップを取得するためにアンサンブルネットワークを設計し、各個別のピクセルを再構成する際にどの補助フィーチャーを優先すべきかを示すピクセル単位のガイダンスを利用し、デノイザーの2つのデノイズ結果をアンサンブルする。
・また、デノイザーとアンサンブルネットワークを共同でトレーニングすることで、GバッファまたはPバッファがデノイジングに相対的に重要である領域にフォーカスするようにデノイザーをガイドするピクセル単位のガイダンスを伝搬させる。
・我々の結果は、GバッファとPバッファの両方を使用したベースラインデノイズモデルと比較して、デノイジングパフォーマンスの著しい改善を示している。

要約(オリジナル)

Auxiliary features such as geometric buffers (G-buffers) and path descriptors (P-buffers) have been shown to significantly improve Monte Carlo (MC) denoising. However, recent approaches implicitly learn to exploit auxiliary features for denoising, which could lead to insufficient utilization of each type of auxiliary features. To overcome such an issue, we propose a denoising framework that relies on an explicit pixel-wise guidance for utilizing auxiliary features. First, we train two denoisers, each trained by a different auxiliary feature (i.e., G-buffers or P-buffers). Then we design our ensembling network to obtain per-pixel ensembling weight maps, which represent pixel-wise guidance for which auxiliary feature should be dominant at reconstructing each individual pixel and use them to ensemble the two denoised results of our denosiers. We also propagate our pixel-wise guidance to the denoisers by jointly training the denoisers and the ensembling network, further guiding the denoisers to focus on regions where G-buffers or P-buffers are relatively important for denoising. Our result and show considerable improvement in denoising performance compared to the baseline denoising model using both G-buffers and P-buffers.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI