CoRF : Colorizing Radiance Fields using Knowledge Distillation

要約

Neural Radiance Field (NeRF) ベースの手法により、多視点画像の高品質な新規視点合成が可能になります。
この研究では、入力されたグレースケールのマルチビュー画像からカラー化された新しいビューを合成する方法を紹介します。
生成されたグレースケールの新しいビューに画像またはビデオベースのカラー化手法を適用すると、ビュー間の不一致によるアーティファクトが観察されます。
カラー化されたグレースケール画像シーケンス上で放射フィールド ネットワークをトレーニングしても、3D 一貫性の問題は解決されません。
我々は、自然画像で訓練されたカラー化ネットワークから輝度フィールドネットワークに色の知識を転送する蒸留ベースの方法を提案します。
具体的には、私たちの方法では、放射フィールド ネットワークを 3D 表現として使用し、既存の 2D カラー化方法からの知識を移転します。
実験結果は、提案された方法がベースラインよりもビュー間の一貫性を維持しながら、屋内および屋外のシーンに対して優れたカラー化された新しいビューを生成することを示しています。
さらに、1.) 赤外線 (IR) 多視点画像および 2.) 古いグレースケール多視点画像シーケンスからトレーニングされた放射フィールド ネットワークのカラー化などのアプリケーションに対するこの手法の有効性を示します。

要約(オリジナル)

Neural radiance field (NeRF) based methods enable high-quality novel-view synthesis for multi-view images. This work presents a method for synthesizing colorized novel views from input grey-scale multi-view images. When we apply image or video-based colorization methods on the generated grey-scale novel views, we observe artifacts due to inconsistency across views. Training a radiance field network on the colorized grey-scale image sequence also does not solve the 3D consistency issue. We propose a distillation based method to transfer color knowledge from the colorization networks trained on natural images to the radiance field network. Specifically, our method uses the radiance field network as a 3D representation and transfers knowledge from existing 2D colorization methods. The experimental results demonstrate that the proposed method produces superior colorized novel views for indoor and outdoor scenes while maintaining cross-view consistency than baselines. Further, we show the efficacy of our method on applications like colorization of radiance field network trained from 1.) Infra-Red (IR) multi-view images and 2.) Old grey-scale multi-view image sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google