Stable Attractors for Neural networks classification via Ordinary Differential Equations (SA-nODE)

要約

機械学習と動的システム理論の交差点に位置する教師付き分類の新しいアプローチが提示されます。
分類目的で常微分方程式を使用する他の方法論とは異なり、トレーニングされていないモデルは、事前に割り当てられた固定の安定したアトラクターのセットに対応するようにアプリオリに構築されます。
分類することは、入力として供給された処理されたアイテムの特異性に応じて、植え付けられたアトラクターの 1 つにダイナミクスを誘導することになります。
したがって、システムは探索された多次元空間の特定の点に漸近的に収束し、最終的に分類されるオブジェクトのカテゴリにフラグを立てます。
このコンテキストで作業すると、トレーニングされたモデルによって事後的に取得される分類を実行する固有の能力が、最終的に、ターゲットの安定したアトラクターのそれぞれに関連付けられたアトラクションの成形盆地に反映されます。
ここでは、提案された方法のパフォーマンスが、十分に確立された参照標準に頼るだけでなく、目的のために作成された単純な玩具モデルに対して挑戦されます。
この方法は最先端の深層学習アルゴリズムのパフォーマンスには達しませんが、閉じた分析的相互作用項を持つ連続動的システムが高性能の分類器として機能できることを示しています。

要約(オリジナル)

A novel approach for supervised classification is presented which sits at the intersection of machine learning and dynamical systems theory. At variance with other methodologies that employ ordinary differential equations for classification purposes, the untrained model is a priori constructed to accommodate for a set of pre-assigned stationary stable attractors. Classifying amounts to steer the dynamics towards one of the planted attractors, depending on the specificity of the processed item supplied as an input. Asymptotically the system will hence converge on a specific point of the explored multi-dimensional space, flagging the category of the object to be eventually classified. Working in this context, the inherent ability to perform classification, as acquired ex post by the trained model, is ultimately reflected in the shaped basin of attractions associated to each of the target stable attractors. The performance of the proposed method is here challenged against simple toy models crafted for the purpose, as well as by resorting to well established reference standards. Although this method does not reach the performance of state-of-the-art deep learning algorithms, it illustrates that continuous dynamical systems with closed analytical interaction terms can serve as high-performance classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google