Polynomial Neural Fields for Subband Decomposition and Manipulation

要約

ニューラル フィールドは、信号を表現するための新しいパラダイムとして登場しました。これは、最適化が容易でありながらコンパクトに実行できる能力のおかげです。
ただし、ほとんどのアプリケーションでは、ニューラル フィールドはブラック ボックスのように扱われるため、多くの信号操作タスクが妨げられます。
この論文では、多項式ニューラル フィールド (PNF) と呼ばれる新しいクラスのニューラル フィールドを提案します。
PNF の主な利点は、ニューラル フィールド表現のメリットを失うことなく、操作および解釈可能な多数のコンポーネントの構成として信号を表現できることです。
PNFを分析および設計するための一般的な理論的フレームワークを開発します。
このフレームワークを使用して、ニューラル フィールドを使用する信号表現タスクで最先端のパフォーマンスに匹敵するフーリエ PNF を設計します。
さらに、フーリエPNFがテクスチャ転送やスケール空間補間などの信号操作アプリケーションを可能にすることを経験的に示しています。
コードは https://github.com/stevenygd/PNF で入手できます。

要約(オリジナル)

Neural fields have emerged as a new paradigm for representing signals, thanks to their ability to do it compactly while being easy to optimize. In most applications, however, neural fields are treated like black boxes, which precludes many signal manipulation tasks. In this paper, we propose a new class of neural fields called polynomial neural fields (PNFs). The key advantage of a PNF is that it can represent a signal as a composition of a number of manipulable and interpretable components without losing the merits of neural fields representation. We develop a general theoretical framework to analyze and design PNFs. We use this framework to design Fourier PNFs, which match state-of-the-art performance in signal representation tasks that use neural fields. In addition, we empirically demonstrate that Fourier PNFs enable signal manipulation applications such as texture transfer and scale-space interpolation. Code is available at https://github.com/stevenygd/PNF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google