Tuning the Frequencies: Robust Training for Sinusoidal Neural Networks

要約

正弦波ネットワークは、滑らかさと高い表現能力により、低次元信号の暗黙的な神経表現（INR）として効果的であることが示されています。
ただし、それらを初期化してトレーニングすることで、学習プロセスを導くためのより深い理解に欠けている経験的タスクのままです。
このギャップを埋めるために、私たちの作品は、正弦波ネットワークの容量特性を説明し、初期化とトレーニングのための堅牢な制御メカニズムを提供する理論的枠組みを紹介します。
私たちの分析は、正弦波多層パーセプトロンの新規振幅相拡張に基づいており、その層の組成が入力周波数の整数の組み合わせとして表される多数の新しい周波数を生成する方法を示しています。
この関係は、入力ニューロンをスペクトルサンプリングの形式として初期化し、トレーニング中にネットワークのスペクトルをバインドするために直接使用できます。
チューナー（シノソイドネットワークのチューニング）と呼ばれる私たちの方法は、正弦波INRトレーニングの安定性と収束を大幅に改善し、過剰適合を防ぎながら詳細な再構築につながります。

要約(オリジナル)

Sinusoidal neural networks have been shown effective as implicit neural representations (INRs) of low-dimensional signals, due to their smoothness and high representation capacity. However, initializing and training them remain empirical tasks which lack on deeper understanding to guide the learning process. To fill this gap, our work introduces a theoretical framework that explains the capacity property of sinusoidal networks and offers robust control mechanisms for initialization and training. Our analysis is based on a novel amplitude-phase expansion of the sinusoidal multilayer perceptron, showing how its layer compositions produce a large number of new frequencies expressed as integer combinations of the input frequencies. This relationship can be directly used to initialize the input neurons, as a form of spectral sampling, and to bound the network’s spectrum while training. Our method, referred to as TUNER (TUNing sinusoidal nEtwoRks), greatly improves the stability and convergence of sinusoidal INR training, leading to detailed reconstructions, while preventing overfitting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google