Understanding Sinusoidal Neural Networks

要約

この研究では、正弦波 MLP (正弦波を活性化関数として使用する多層パーセプトロン ネットワーク) の構造と表現能力を調査します。
これらのニューラル ネットワーク (ニューラル フィールドとして知られている) は、画像、符号付き距離関数、放射輝度フィールドなどのコンピューター グラフィックスで一般的な信号を表現する際の基礎となっています。
この成功は主に、正弦波 MLP の 2 つの重要な特性、つまり滑らかさとコンパクトさに起因すると考えられます。
これらの関数は、アフィン マップとサイン関数の合成から生成されるため、滑らかです。
この研究は、正弦波 MLP のコンパクト性特性を正当化する理論的結果を提供し、これらのネットワークの定義とトレーニングにおける制御メカニズムを提供します。
正弦波 MLP を調和和として拡張することによって研究することを提案します。
まず、その最初の層が調波辞書として見なされることがわかり、これを入力正弦波ニューロンと呼びます。
次に、隠れ層がアフィン マップを使用してこの辞書を結合し、正弦波を使用して出力を変調します。これにより、正弦波ニューロンの特別な辞書が生成されます。
これらの正弦波ニューロンのそれぞれが、入力周波数の整数線形結合として表現される多数の新しい周波数を生成する調和和として拡張することを証明します。
したがって、各隠れニューロンは同じ周波数を生成し、対応する振幅は隠れたアフィン マップによって完全に決定されます。
また、上限と、結果の近似を制御できるこれらの振幅を並べ替える方法も提供し、対応する系列を切り捨てることができます。
最後に、正弦波 MLP のトレーニングと初期化のためのアプリケーションを紹介します。
さらに、入力ニューロンが周期的であれば、ネットワーク全体も同じ周期で周期的になることを示します。
これらの周期ネットワークをフーリエ級数表現と関連付けます。

要約(オリジナル)

In this work, we investigate the structure and representation capacity of sinusoidal MLPs – multilayer perceptron networks that use sine as the activation function. These neural networks (known as neural fields) have become fundamental in representing common signals in computer graphics, such as images, signed distance functions, and radiance fields. This success can be primarily attributed to two key properties of sinusoidal MLPs: smoothness and compactness. These functions are smooth because they arise from the composition of affine maps with the sine function. This work provides theoretical results to justify the compactness property of sinusoidal MLPs and provides control mechanisms in the definition and training of these networks. We propose to study a sinusoidal MLP by expanding it as a harmonic sum. First, we observe that its first layer can be seen as a harmonic dictionary, which we call the input sinusoidal neurons. Then, a hidden layer combines this dictionary using an affine map and modulates the outputs using the sine, this results in a special dictionary of sinusoidal neurons. We prove that each of these sinusoidal neurons expands as a harmonic sum producing a large number of new frequencies expressed as integer linear combinations of the input frequencies. Thus, each hidden neuron produces the same frequencies, and the corresponding amplitudes are completely determined by the hidden affine map. We also provide an upper bound and a way of sorting these amplitudes that can control the resulting approximation, allowing us to truncate the corresponding series. Finally, we present applications for training and initialization of sinusoidal MLPs. Additionally, we show that if the input neurons are periodic, then the entire network will be periodic with the same period. We relate these periodic networks with the Fourier series representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google