Spiking NeRF: Representing the Real-World Geometry by a Discontinuous Representation

要約

既存のNeRFベースの手法が成功した決定的な理由は、複数のパーセプトロン層（MLP）を介して、形状表現のためのニューラル密度場を構築することである。MLPは連続関数であるが、実際の形状や密度場は空気と表面の界面で不連続であることが多い。このような不連続性は、不誠実な形状表現という問題をもたらす。このため、本論文では、忠実な形状表現のための不連続密度場を構築するために、スパイキングニューロンと人工ニューラルネットワーク（ANN）-スパイキングニューラルネットワーク（SNN）のハイブリッドフレームワークを活用するスパイキングNeRFを提案する。具体的には、まず連続密度場が不正確さをもたらす理由を示す。次に、スパイクニューロンを用いて不連続密度場を構築することを提案する。既存のスパイキングニューロンモデルの問題を包括的に分析し、スパイキングニューロンのパラメータと幾何の理論的精度との間の数値的関係を示す。これに基づいて、不連続密度場を構築するための境界付きスパイキングニューロンを提案する。我々の手法はSOTA性能を達成する。ソースコードと補足資料はhttps://github.com/liaozhanfeng/Spiking-NeRF。

要約(オリジナル)

A crucial reason for the success of existing NeRF-based methods is to build a neural density field for the geometry representation via multiple perceptron layers (MLPs). MLPs are continuous functions, however, real geometry or density field is frequently discontinuous at the interface between the air and the surface. Such a contrary brings the problem of unfaithful geometry representation. To this end, this paper proposes spiking NeRF, which leverages spiking neurons and a hybrid Artificial Neural Network (ANN)-Spiking Neural Network (SNN) framework to build a discontinuous density field for faithful geometry representation. Specifically, we first demonstrate the reason why continuous density fields will bring inaccuracy. Then, we propose to use the spiking neurons to build a discontinuous density field. We conduct a comprehensive analysis for the problem of existing spiking neuron models and then provide the numerical relationship between the parameter of the spiking neuron and the theoretical accuracy of geometry. Based on this, we propose a bounded spiking neuron to build the discontinuous density field. Our method achieves SOTA performance. The source code and the supplementary material are available at https://github.com/liaozhanfeng/Spiking-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL