Spiking NeRF: Representing the Real-World Geometry by a Discontinuous Representation

要約

既存の NeRF ベースの手法が成功する重要な理由は、複数のパーセプトロン層 (MLP) を介してジオメトリ表現のための神経密度フィールドを構築することです。
MLP は連続関数ですが、実際の幾何学形状または密度場は、空気と表面の界面で不連続になることがよくあります。
このような逆は、不忠実な幾何学表現の問題を引き起こします。
この目的を達成するために、この論文では、スパイキング ニューロンとハイブリッド人工ニューラル ネットワーク (ANN) とスパイキング ニューラル ネットワーク (SNN) フレームワークを活用して、忠実なジオメトリ表現のための不連続密度フィールドを構築するスパイキング NeRF を提案します。
具体的には、まず、連続密度フィールドが不正確さをもたらす理由を示します。
次に、スパイク ニューロンを使用して不連続な密度場を構築することを提案します。
既存のスパイキング ニューロン モデルの問題に対して包括的な解析を実行し、スパイキング ニューロンのパラメーターと幾何学の理論的精度の間の数値的関係を提供します。これに基づいて、不連続密度場を構築するための有界スパイキング ニューロンを提案します。
私たちの結果は SOTA パフォーマンスを達成しました。
私たちのコードとデータは一般に公開されます。

要約(オリジナル)

A crucial reason for the success of existing NeRF-based methods is to build a neural density field for the geometry representation via multiple perceptron layers (MLPs). MLPs are continuous functions, however, real geometry or density field is frequently discontinuous at the interface between the air and the surface. Such a contrary brings the problem of unfaithful geometry representation. To this end, this paper proposes spiking NeRF, which leverages spiking neuron and a hybrid Artificial Neural Network (ANN)-Spiking Neural Network (SNN) framework to build a discontinuous density field for faithful geometry representation. Specifically, we first demonstrate the reason why continuous density fields will bring inaccuracy. Then, we propose to use the spiking neurons to build a discontinuous density field. We conduct comprehensive analysis for the problem of existing spiking neuron models and then provide the numerical relationship between the parameter of spiking neuron and the theoretical accuracy of geometry, Based on this, we propose a bounded spiking neuron to build the discontinuous density field. Our results achieve SOTA performance. Our code and data will be released to the public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google