Learning Spatially Collaged Fourier Bases for Implicit Neural Representation

要約

Implicit Neural Representation (INR) に対する既存のアプローチは、異なる周波数のフーリエ基底の線形結合を介したグローバル シーン表現として解釈できます。
ただし、このような普遍的な基底関数は、特定のコンポーネントが不必要な局所領域での表現能力を制限し、不快なアーチファクトを引き起こす可能性があります。
この目的を達成するために、個別のフーリエ基底をそれぞれの領域に効果的に送信する学習可能な空間マスクを導入します。
これはフーリエ パッチのコラージュに変換され、複雑な信号を正確に表現できるようになります。
包括的な実験により、画像フィッティング、ビデオ表現、3D 形状表現を含むさまざまな INR タスクにわたって、既存のベースラインよりも提案されたアプローチの優れた再構成品質が実証されています。
私たちの方法は他のすべてのベースラインよりも優れており、画像フィッティング PSNR が 3dB 以上向上し、3D 再構成が 98.81 IoU と 0.0011 の面取り距離に向上します。

要約(オリジナル)

Existing approaches to Implicit Neural Representation (INR) can be interpreted as a global scene representation via a linear combination of Fourier bases of different frequencies. However, such universal basis functions can limit the representation capability in local regions where a specific component is unnecessary, resulting in unpleasant artifacts. To this end, we introduce a learnable spatial mask that effectively dispatches distinct Fourier bases into respective regions. This translates into collaging Fourier patches, thus enabling an accurate representation of complex signals. Comprehensive experiments demonstrate the superior reconstruction quality of the proposed approach over existing baselines across various INR tasks, including image fitting, video representation, and 3D shape representation. Our method outperforms all other baselines, improving the image fitting PSNR by over 3dB and 3D reconstruction to 98.81 IoU and 0.0011 Chamfer Distance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google