Neural Fourier Filter Bank

要約

タイトル：Neural Fourier Filter Bank
要約：
– 波紋に着想を得て、信号を空間的および周波数的に分解するニューラルフィールドを学習する新しい方法を提案
– 空間分解のために、最近のグリッドベースの手法に従い、重みを各グリッドに格納するが、フーリエフィーチャのエンコードにより各グリッドに特定の周波数が格納されるようにしている。
– 高周波成分が順次低周波成分の上に蓄積されるように、適切なレイヤーでフーリエエンコードされた特徴を持つ多層パーセプトロンにサインアクティベーションを適用し、それらを合算して最終出力を形成する。
– 2D画像フィッティング、3D形状再構築、ニューラル輝度場において、モデルのコンパクト性および収束速度に関して最新の技術を上回る性能を示すことを実証。
– コードはhttps://github.com/ubc-vision/NFFBで利用可能。

要約(オリジナル)

We present a novel method to provide efficient and highly detailed reconstructions. Inspired by wavelets, we learn a neural field that decompose the signal both spatially and frequency-wise. We follow the recent grid-based paradigm for spatial decomposition, but unlike existing work, encourage specific frequencies to be stored in each grid via Fourier features encodings. We then apply a multi-layer perceptron with sine activations, taking these Fourier encoded features in at appropriate layers so that higher-frequency components are accumulated on top of lower-frequency components sequentially, which we sum up to form the final output. We demonstrate that our method outperforms the state of the art regarding model compactness and convergence speed on multiple tasks: 2D image fitting, 3D shape reconstruction, and neural radiance fields. Our code is available at https://github.com/ubc-vision/NFFB.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI