Neural Oscillators are Universal

要約

結合発振器は、シーケンス モデリング、グラフ表現学習、アナログ ML デバイスで使用される物理ニューラル ネットワークなど、機械学習 (ML) アーキテクチャの基礎として使用されることが増えています。
我々は、これらのアーキテクチャを包含するニューラル発振器の抽象クラスを導入し、ニューラル発振器が普遍的であること、つまり、時変関数間の任意の連続的でカジュアルな演算子のマッピングを望ましい精度で近似できることを証明します。
この普遍性の結果は、発振器ベースの ML システムの使用に対する理論的正当性を提供します。
この証明は、独立した関心の基本的な結果に基づいており、強制調和発振器と非線形読み出し値の組み合わせが基礎となる演算子を近似するのに十分であることを示しています。

要約(オリジナル)

Coupled oscillators are being increasingly used as the basis of machine learning (ML) architectures, for instance in sequence modeling, graph representation learning and in physical neural networks that are used in analog ML devices. We introduce an abstract class of neural oscillators that encompasses these architectures and prove that neural oscillators are universal, i.e, they can approximate any continuous and casual operator mapping between time-varying functions, to desired accuracy. This universality result provides theoretical justification for the use of oscillator based ML systems. The proof builds on a fundamental result of independent interest, which shows that a combination of forced harmonic oscillators with a nonlinear read-out suffices to approximate the underlying operators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google