Cluster-based classification with neural ODEs via control

要約

$ n $のデータポイントの同時制御の観点から、神経の通常の微分方程式を使用してバイナリ分類に対処します。
パラメーターが固定された定数関数として固定された単一ニューロンアーキテクチャを検討します。
この設定では、モデルの複雑さを制御スイッチの数によって定量化できます。
以前の研究では、$ o（n）$スイッチを必要とするポイントバイポイント戦略を使用して分類を達成できることが示されています。
$ d $ポイントの順次ステアリングクラスターによって任意のデータセットを分類する新しい制御方法を提案し、それにより複雑さが$ o（n/d）$スイッチに減少します。
特に高次元でのこの結果の最適性は、いくつかの数値実験によってサポートされています。
私たちの複雑さは十分ですが、多くの場合保守的です。なぜなら、同階級のポイントはより大きなクラスターに現れる傾向があり、分類を簡素化する傾向があるからです。
これにより、必要なスイッチの数の確率分布を研究する動機になります。
パラメーターに共線性の制約を課す単純な制御方法を導入し、両方のクラスが同じサイズで、すべてのポイントがi.i.d.である最悪のシナリオを分析します。
私たちの結果は、高次元空間の利点を強調しており、一定のコントロールを使用した分類が$ D $が増加するにつれてより可能性が高いことを示しています。

要約(オリジナル)

We address binary classification using neural ordinary differential equations from the perspective of simultaneous control of $N$ data points. We consider a single-neuron architecture with parameters fixed as piecewise constant functions of time. In this setting, the model complexity can be quantified by the number of control switches. Previous work has shown that classification can be achieved using a point-by-point strategy that requires $O(N)$ switches. We propose a new control method that classifies any arbitrary dataset by sequentially steering clusters of $d$ points, thereby reducing the complexity to $O(N/d)$ switches. The optimality of this result, particularly in high dimensions, is supported by some numerical experiments. Our complexity bound is sufficient but often conservative because same-class points tend to appear in larger clusters, simplifying classification. This motivates studying the probability distribution of the number of switches required. We introduce a simple control method that imposes a collinearity constraint on the parameters, and analyze a worst-case scenario where both classes have the same size and all points are i.i.d. Our results highlight the benefits of high-dimensional spaces, showing that classification using constant controls becomes more probable as $d$ increases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google