Regularization of NeRFs using differential geometry

要約

Neural Radiance Field (NeRF) は、マルチビュー画像コレクションからの複雑なシーンの新しいビュー合成および 3D モデリングの分野におけるブレークスルーを表しています。
最近の多くの研究では、一貫性のないデータや非常にまばらなデータでトレーニングするために、正則化によって NeRF モデルをより堅牢にすることの重要性が示されています。
この作業では、微分幾何学が、連続的で無限に微分可能な関数を表すように変更された NeRF のようなモデルを堅牢にトレーニングするためのエレガントな正則化ツールをどのように提供できるかを探ります。
特に、困難な条件でのパフォーマンスを向上させるために、さまざまな種類の NeRF 観測を正則化するための一般的なフレームワークを提示します。
また、同じ形式を使用して、ガウスまたは平均曲率によって表面の規則性をネイティブに促進する方法も示します。

要約(オリジナル)

Neural radiance fields, or NeRF, represent a breakthrough in the field of novel view synthesis and 3D modeling of complex scenes from multi-view image collections. Numerous recent works have shown the importance of making NeRF models more robust, by means of regularization, in order to train with possibly inconsistent and/or very sparse data. In this work, we explore how differential geometry can provide elegant regularization tools for robustly training NeRF-like models, which are modified so as to represent continuous and infinitely differentiable functions. In particular, we present a generic framework for regularizing different types of NeRFs observations to improve the performance in challenging conditions. We also show how the same formalism can also be used to natively encourage the regularity of surfaces by means of Gaussian or mean curvatures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google