BioNeRF: Biologically Plausible Neural Radiance Fields for View Synthesis

要約

この論文では、3D 表現でシーンをモデル化し、放射フィールドを通じて新しいビューを合成する生物学的に妥当なアーキテクチャである BioNeRF について紹介します。
NeRF はシーンの 3 次元表現を保存するためにネットワークの重みに依存しているため、BioNeRF は複数のソースからの入力をメモリのような構造に融合する認知にインスピレーションを得たメカニズムを実装し、保存容量を向上させ、より本質的な相関情報を抽出します。
BioNeRF は、コンテキスト情報に関して錐体細胞で観察される動作も模倣します。この動作では、メモリがコンテキストとして提供され、2 つの後続のニューラル モデルの入力と組み合わせられます。1 つは体積密度の生成を担当し、もう 1 つはシーンのレンダリングに使用されます。
。
実験結果は、BioNeRF が、現実世界の画像と合成データという 2 つのデータセットで人間の知覚をエンコードする品質測定に関して、最先端の結果を上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

This paper presents BioNeRF, a biologically plausible architecture that models scenes in a 3D representation and synthesizes new views through radiance fields. Since NeRF relies on the network weights to store the scene’s 3-dimensional representation, BioNeRF implements a cognitive-inspired mechanism that fuses inputs from multiple sources into a memory-like structure, improving the storing capacity and extracting more intrinsic and correlated information. BioNeRF also mimics a behavior observed in pyramidal cells concerning contextual information, in which the memory is provided as the context and combined with the inputs of two subsequent neural models, one responsible for producing the volumetric densities and the other the colors used to render the scene. Experimental results show that BioNeRF outperforms state-of-the-art results concerning a quality measure that encodes human perception in two datasets: real-world images and synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google