FIRe: Fast Inverse Rendering using Directional and Signed Distance Functions

要約

ニューラル3D暗黙表現は、シングルまたはマルチビュー3D再構成などの多様なアプリケーションに有用な事前分布を学習する。しかし、既存の手法では、1つのカメラ軌道に対して複数回のネットワーク評価を行う必要があるため、計算時間が長くなり、下流のアプリケーションにとってボトルネックとなります。我々は、方向性距離関数（DDF）と呼ぶ新しいニューラルシーン表現を導入することで、この問題に対処する。そのために、我々はDDFモデルと共に符号付き距離関数(SDF)を学習し、あるクラスの形状を表現する。具体的には、我々のDDFは単位球面上で定義され、任意の方向に沿った表面までの距離を予測する。そのため、本DDFを用いることで、カメラ1本につき1回のネットワーク評価で画像をレンダリングすることができます。このDDFに基づき、我々は、ポーズ付き深度マップを与えられた3次元形状を再構成する新しい高速アルゴリズム(FIRe)を提示する。提案手法をシングルビュー奥行き画像からの3次元再構成で評価し、我々のアルゴリズムがより正確に3次元形状を再構成し、競合手法よりも15倍以上速い（反復あたり）ことを経験的に示す。

要約(オリジナル)

Neural 3D implicit representations learn priors that are useful for diverse applications, such as single- or multiple-view 3D reconstruction. A major downside of existing approaches while rendering an image is that they require evaluating the network multiple times per camera ray so that the high computational time forms a bottleneck for downstream applications. We address this problem by introducing a novel neural scene representation that we call the directional distance function (DDF). To this end, we learn a signed distance function (SDF) along with our DDF model to represent a class of shapes. Specifically, our DDF is defined on the unit sphere and predicts the distance to the surface along any given direction. Therefore, our DDF allows rendering images with just a single network evaluation per camera ray. Based on our DDF, we present a novel fast algorithm (FIRe) to reconstruct 3D shapes given a posed depth map. We evaluate our proposed method on 3D reconstruction from single-view depth images, where we empirically show that our algorithm reconstructs 3D shapes more accurately and it is more than 15 times faster (per iteration) than competing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL