Transforming Radiance Field with Lipschitz Network for Photorealistic 3D Scene Stylization

要約

最近の 3D シーン表現と新しいビュー合成の進歩により、Neural Radiance Fields (NeRF) の台頭が見られます。
それにもかかわらず、斬新なビューから視覚的に一貫性のある写実的な様式化されたシーンを生成することを目的とした写実的な 3D シーン様式化タスクに NeRF を活用することは簡単ではありません。
NeRF をフォトリアリスティック スタイル トランスファー (PST) と組み合わせるだけでは、クロス ビューの不一致と様式化されたビュー合成の劣化が発生します。
徹底的な分析を通じて、この重要なタスクを新しい観点から単純化できることを示します。リプシッツ マッピングを使用して事前トレーニング済みの NeRF の外観表現を変換すると、ソース ビュー全体の一貫性とフォトリアリズムが合成にシームレスにエンコードされます。
.
これにより、3D シーン用に調整された Lipschitz マッピングを使用して任意の 2D PST メソッドをアップグレードする、簡潔で柔軟な学習フレームワーク、つまり LipRF を構築する動機が得られます。
技術的には、LipRF は最初に放射輝度フィールドを事前トレーニングして 3D シーンを再構築し、次に 2D PST によって各ビューのスタイルを事前にエミュレートしてから、リプシッツ ネットワークを学習して事前トレーニング済みの外観を様式化します。
そのリプシッツ条件がニューラル ネットワークの表現力に大きな影響を与えることを考慮して、再構成と様式化のバランスをとる適応正則化を考案します。
コスト効率の高い方法で LipRF を最適化するために、段階的な勾配集約戦略がさらに導入されます。
フォトリアリスティックな 3D 様式化とオブジェクトの外観編集の両方で、LipRF の高品質で堅牢なパフォーマンスを示すために広範な実験を行います。

要約(オリジナル)

Recent advances in 3D scene representation and novel view synthesis have witnessed the rise of Neural Radiance Fields (NeRFs). Nevertheless, it is not trivial to exploit NeRF for the photorealistic 3D scene stylization task, which aims to generate visually consistent and photorealistic stylized scenes from novel views. Simply coupling NeRF with photorealistic style transfer (PST) will result in cross-view inconsistency and degradation of stylized view syntheses. Through a thorough analysis, we demonstrate that this non-trivial task can be simplified in a new light: When transforming the appearance representation of a pre-trained NeRF with Lipschitz mapping, the consistency and photorealism across source views will be seamlessly encoded into the syntheses. That motivates us to build a concise and flexible learning framework namely LipRF, which upgrades arbitrary 2D PST methods with Lipschitz mapping tailored for the 3D scene. Technically, LipRF first pre-trains a radiance field to reconstruct the 3D scene, and then emulates the style on each view by 2D PST as the prior to learn a Lipschitz network to stylize the pre-trained appearance. In view of that Lipschitz condition highly impacts the expressivity of the neural network, we devise an adaptive regularization to balance the reconstruction and stylization. A gradual gradient aggregation strategy is further introduced to optimize LipRF in a cost-efficient manner. We conduct extensive experiments to show the high quality and robust performance of LipRF on both photorealistic 3D stylization and object appearance editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google