Encoding Semantic Priors into the Weights of Implicit Neural Representation

要約

暗黙的ニューラル表現 (INR) は、座標を入力として受け取り、対応する信号値を生成する、信号表現の有望なパラダイムとして最近登場しました。
これらの座標には意味論的な特徴が含まれていないため、INR は意味論的な情報を考慮できません。
しかし、セマンティック情報は、多くの視覚タスク、特に視覚信号表現において重要であることが証明されています。
この論文では、SPW と呼ばれる再パラメータ化方法を提案します。これは、INR の重みの前に意味論的な事前情報をエンコードすることで、INR に暗黙的に意味論的な情報を含ませ、その表現能力を強化します。
具体的には、SPW はセマンティック ニューラル ネットワーク (SNN) を使用して、ターゲット視覚信号の低レベルと高レベルの両方のセマンティック情報を抽出し、セマンティック ベクトルを生成します。これが重み生成ネットワーク (WGN) に入力されて、INR の重みが生成されます。
モデル。
最後に、INR は生成された重みと意味論的な事前分布を使用して、座標を信号値にマッピングします。
トレーニング後は、SNN と WGN の両方を放棄して、生成された重みのみを保持するため、SPW は推論に追加のコストを導入しません。
実験結果は、SPW が画像フィッティング、CT 再構成、MRI 再構成、新しいビューの合成などのさまざまなタスクでさまざまな INR モデルのパフォーマンスを大幅に向上できることを示しています。
さらなる実験により、SPW を使用したモデルは重みの冗長性が低く、より新しい表現を学習することが示され、SPW の有効性が検証されました。

要約(オリジナル)

Implicit neural representation (INR) has recently emerged as a promising paradigm for signal representations, which takes coordinates as inputs and generates corresponding signal values. Since these coordinates contain no semantic features, INR fails to take any semantic information into consideration. However, semantic information has been proven critical in many vision tasks, especially for visual signal representation. This paper proposes a reparameterization method termed as SPW, which encodes the semantic priors to the weights of INR, thus making INR contain semantic information implicitly and enhancing its representational capacity. Specifically, SPW uses the Semantic Neural Network (SNN) to extract both low- and high-level semantic information of the target visual signal and generates the semantic vector, which is input into the Weight Generation Network (WGN) to generate the weights of INR model. Finally, INR uses the generated weights with semantic priors to map the coordinates to the signal values. After training, we only retain the generated weights while abandoning both SNN and WGN, thus SPW introduces no extra costs in inference. Experimental results show that SPW can improve the performance of various INR models significantly on various tasks, including image fitting, CT reconstruction, MRI reconstruction, and novel view synthesis. Further experiments illustrate that model with SPW has lower weight redundancy and learns more novel representations, validating the effectiveness of SPW.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google