Towards Croppable Implicit Neural Representations

要約

Implicit Neural Representation (INR) は、ニューラル ネットワークを使用して自然信号をエンコードできるため、近年、関心がピークに達しています。
INR を使用すると、新しい座標の補間や信号圧縮などの便利なアプリケーションが可能になりますが、そのブラックボックスの性質により、トレーニング後に変更することが困難になります。
このペーパーでは、編集可能な INR のアイデアを検討し、特に広く使用されているトリミング操作に焦点を当てます。
この目的を達成するために、私たちは Local-Global SIREN、つまり設計によりクロッピングをサポートする新しい INR アーキテクチャを紹介します。
ローカル-グローバル SIREN は、信号エンコードのためのローカルとグローバルの特徴抽出の組み合わせに基づいています。
彼らの設計をユニークなものにしているのは、エンコードされた信号の特定の部分を簡単に削除し、それに比例して重みを減らすことができることです。
これは、再トレーニングを必要とせずに、ネットワークから対応する重みを削除することで実現されます。
さらに、このアーキテクチャを使用して、以前にエンコードされた信号の直接的な拡張をサポートする方法を示します。
信号編集を超えて、ローカル-グローバル アプローチがどのようにトレーニングを加速し、さまざまな信号のエンコードを強化し、ダウンストリーム パフォーマンスを向上させ、INCODE などの最新の INR に適用できるかを検証し、その可能性と柔軟性を強調します。
コードは https://github.com/maorash/Local-Global-INRs で入手できます。

要約(オリジナル)

Implicit Neural Representations (INRs) have peaked interest in recent years due to their ability to encode natural signals using neural networks. While INRs allow for useful applications such as interpolating new coordinates and signal compression, their black-box nature makes it difficult to modify them post-training. In this paper we explore the idea of editable INRs, and specifically focus on the widely used cropping operation. To this end, we present Local-Global SIRENs — a novel INR architecture that supports cropping by design. Local-Global SIRENs are based on combining local and global feature extraction for signal encoding. What makes their design unique is the ability to effortlessly remove specific portions of an encoded signal, with a proportional weight decrease. This is achieved by eliminating the corresponding weights from the network, without the need for retraining. We further show how this architecture can be used to support the straightforward extension of previously encoded signals. Beyond signal editing, we examine how the Local-Global approach can accelerate training, enhance encoding of various signals, improve downstream performance, and be applied to modern INRs such as INCODE, highlighting its potential and flexibility. Code is available at https://github.com/maorash/Local-Global-INRs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google