Neural Point Catacaustics for Novel-View Synthesis of Reflections

要約

反射などのビュー依存効果は、画像ベースおよびニューラルレンダリングアルゴリズムに大きな課題をもたらす。特に、湾曲した反射は、カメラの移動に伴って非常に非線形な反射の流れを引き起こすため、特に困難である。本論文では、点ベースの新しい表現を導入することで、何気なく撮影された入力写真のセットから、曲面反射のあるシーンの斬新なビュー合成を可能にするニューラルポイントカタカウスティクスを算出する。本手法の核となるのは、反射のカタコースティックの軌跡をモデル化するニューラルワープフィールドであり、これによりニューラルレンダラーと連携した効率的なポイントスプラッティングを用いて、複雑なスペキュラー効果をレンダリングすることができる。私たちの重要な貢献の一つは、ニューラルワープフィールドによって置き換えられた反射点群と、シーンの残りの部分を表現するために最適化された主点群によって、反射を明示的に表現していることです。本手法は、短い手動アノテーションの後、正確な反射流を伴う新規ビューのインタラクティブな高品質レンダリングを可能にする。さらに、反射フローの明示的な表現は、反射編集、鏡面オブジェクトのクローニング、ビュー間の反射トラッキング、快適なステレオビューなど、キャプチャしたシーンにおけるいくつかの形式のシーン操作をサポートします。ソースコードとその他の補足資料を https://repo-sam.inria.fr/ fungraph/neural_catacaustics/ で提供しています。

要約(オリジナル)

View-dependent effects such as reflections pose a substantial challenge for image-based and neural rendering algorithms. Above all, curved reflectors are particularly hard, as they lead to highly non-linear reflection flows as the camera moves. We introduce a new point-based representation to compute Neural Point Catacaustics allowing novel-view synthesis of scenes with curved reflectors, from a set of casually-captured input photos. At the core of our method is a neural warp field that models catacaustic trajectories of reflections, so complex specular effects can be rendered using efficient point splatting in conjunction with a neural renderer. One of our key contributions is the explicit representation of reflections with a reflection point cloud which is displaced by the neural warp field, and a primary point cloud which is optimized to represent the rest of the scene. After a short manual annotation step, our approach allows interactive high-quality renderings of novel views with accurate reflection flow. Additionally, the explicit representation of reflection flow supports several forms of scene manipulation in captured scenes, such as reflection editing, cloning of specular objects, reflection tracking across views, and comfortable stereo viewing. We provide the source code and other supplemental material on https://repo-sam.inria.fr/ fungraph/neural_catacaustics/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL