Generalizable Implicit Neural Representations via Instance Pattern Composers

要約

暗黙的ニューラル表現 (INR) の最近の進歩にもかかわらず、INR の座標ベースの多層パーセプトロン (MLP) がデータ インスタンス全体で共通の表現を学習し、目に見えないインスタンスに対して一般化することは依然として困難です。
この作業では、インスタンス パターン コンポーザとして初期の MLP レイヤーで重みの小さなセットのみを変調することにより、座標ベースの MLP が複雑なデータ インスタンスを表すことを可能にする、一般化可能な INR のためのシンプルかつ効果的なフレームワークを紹介します。
残りの MLP 重みは、インスタンス間で共通の表現のパターン構成規則を学習します。
私たちの一般化可能な INR フレームワークは、目に見えないインスタンスの変調された重みを予測するための学習において、既存のメタ学習およびハイパーネットワークと完全に互換性があります。
広範な実験により、オーディオ、画像、3D オブジェクトなどの幅広いドメインでこの方法が高いパフォーマンスを達成することが示され、アブレーション研究では体重変調が検証されます。

要約(オリジナル)

Despite recent advances in implicit neural representations (INRs), it remains challenging for a coordinate-based multi-layer perceptron (MLP) of INRs to learn a common representation across data instances and generalize it for unseen instances. In this work, we introduce a simple yet effective framework for generalizable INRs that enables a coordinate-based MLP to represent complex data instances by modulating only a small set of weights in an early MLP layer as an instance pattern composer; the remaining MLP weights learn pattern composition rules for common representations across instances. Our generalizable INR framework is fully compatible with existing meta-learning and hypernetworks in learning to predict the modulated weight for unseen instances. Extensive experiments demonstrate that our method achieves high performance on a wide range of domains such as an audio, image, and 3D object, while the ablation study validates our weight modulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google