ReLU Fields: The Little Non-linearity That Could

要約

最近の多くの研究において、多層知覚（MLP）は画像や3Dシーンを含む複雑な空間変動関数のモデリングに適していることが示されている。MLPはこれまでにない品質とメモリフットプリントで複雑なシーンを表現することができるが、MLPのこの表現力は、しかし、長い学習時間と推論時間の代償を伴う。一方、バイリニア／トリリニア補間は、通常のグリッドベースの表現で、高速な学習と推論を行うことができるが、大幅な追加メモリを必要とすることなくMLPの品質に匹敵することはできない。そこで本研究では、高速な再構成とレンダリング時間を実現しつつ、MLPの忠実度の高い結果を保持することができる、グリッドベースの表現に対する最小の変更とは何かを調査する。我々は、この課題を達成する驚くほど単純な変更を導入する–単に、補間されたグリッド値に固定非線形性（ReLU）を許すだけである。粗い値から細かい値への最適化と組み合わせることで、このようなアプローチが最先端技術と競争力を持つようになることを示す。放射輝度フィールドと占有フィールドの結果を報告し、既存の複数の選択肢と比較する。この論文のコードとデータはhttps://geometry.cs.ucl.ac.uk/projects/2022/relu_fields。

要約(オリジナル)

In many recent works, multi-layer perceptions (MLPs) have been shown to be suitable for modeling complex spatially-varying functions including images and 3D scenes. Although the MLPs are able to represent complex scenes with unprecedented quality and memory footprint, this expressive power of the MLPs, however, comes at the cost of long training and inference times. On the other hand, bilinear/trilinear interpolation on regular grid based representations can give fast training and inference times, but cannot match the quality of MLPs without requiring significant additional memory. Hence, in this work, we investigate what is the smallest change to grid-based representations that allows for retaining the high fidelity result of MLPs while enabling fast reconstruction and rendering times. We introduce a surprisingly simple change that achieves this task — simply allowing a fixed non-linearity (ReLU) on interpolated grid values. When combined with coarse to-fine optimization, we show that such an approach becomes competitive with the state-of-the-art. We report results on radiance fields, and occupancy fields, and compare against multiple existing alternatives. Code and data for the paper are available at https://geometry.cs.ucl.ac.uk/projects/2022/relu_fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL