ARF: Artistic Radiance Fields

要約

任意のスタイルの画像の芸術的特徴を3Dシーンに転送する方法を紹介します。
点群またはメッシュで3Dスタイル設定を実行する以前の方法は、複雑な実世界のシーンの幾何学的再構成エラーに敏感です。
代わりに、より堅牢な放射輝度フィールド表現を定型化することを提案します。
一般的に使用されるグラム行列ベースの損失は、忠実なブラシストロークなしでぼやけた結果を生成する傾向があり、マルチビューの一貫性を維持しながらスタイルの詳細をキャプチャするのに非常に効果的な最近傍ベースの損失を導入することがわかります。
また、フル解像度のレンダリング画像で定義されたスタイル損失を使用して、メモリを大量に消費する放射輝度フィールドの最適化を可能にする、新しい遅延バックプロパゲーション法を提案します。
私たちの広範な評価は、私たちの方法がスタイルイメージにより近い芸術的な外観を生成することにより、ベースラインを上回っていることを示しています。
ビデオの結果とオープンソースの実装については、プロジェクトページを確認してください：https：//www.cs.cornell.edu/projects/arf/。

要約(オリジナル)

We present a method for transferring the artistic features of an arbitrary style image to a 3D scene. Previous methods that perform 3D stylization on point clouds or meshes are sensitive to geometric reconstruction errors for complex real-world scenes. Instead, we propose to stylize the more robust radiance field representation. We find that the commonly used Gram matrix-based loss tends to produce blurry results without faithful brushstrokes, and introduce a nearest neighbor-based loss that is highly effective at capturing style details while maintaining multi-view consistency. We also propose a novel deferred back-propagation method to enable optimization of memory-intensive radiance fields using style losses defined on full-resolution rendered images. Our extensive evaluation demonstrates that our method outperforms baselines by generating artistic appearance that more closely resembles the style image. Please check our project page for video results and open-source implementations: https://www.cs.cornell.edu/projects/arf/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google