On the Stability of a non-hyperbolic nonlinear map with non-bounded set of non-isolated fixed points with applications to Machine Learning

要約

この論文では、SUCPA (事前適応による半教師なしキャリブレーション) アルゴリズムの収束分析について説明します。このアルゴリズムは、教師あり機械学習分類器によって出力されたスコアを補正するために最初に開発された、一次の非線形差分方程式から定義されます。
収束解析は、アルゴリズムから導出された非線形マップの局所的および大域的な安定性を研究することにより、動的システム問題として扱われます。
このマップは、指数関数と有理関数の組み合わせによって定義され、境界のない非孤立固定点のセットを含む非双曲であることがわかります。
したがって、収束解析を解くために、アドホックな幾何学的なアプローチからなる非標準的な方法が使用されます。
バイナリ分類問題 (2 次元マップ) については、マップが全体的に漸近的に安定であることを厳密に証明します。
現実世界のアプリケーションに関する数値実験は、大規模言語モデルを使用して実行される感情極性と猫と犬の画像分類という 2 つの異なる分類問題によって理論的結果をサポートするために実行されます。
より多くのクラスについては、数値的証拠はアルゴリズムの同じ動作を示しており、これを自然言語推論の例で示します。
実験コードは、次のリポジトリでオンラインで公開されています: https://github.com/LautaroEst/sucpa-convergence

要約(オリジナル)

This paper deals with the convergence analysis of the SUCPA (Semi Unsupervised Calibration through Prior Adaptation) algorithm, defined from a first-order non-linear difference equations, first developed to correct the scores output by a supervised machine learning classifier. The convergence analysis is addressed as a dynamical system problem, by studying the local and global stability of the nonlinear map derived from the algorithm. This map, which is defined by a composition of exponential and rational functions, turns out to be non-hyperbolic with a non-bounded set of non-isolated fixed points. Hence, a non-standard method for solving the convergence analysis is used consisting of an ad-hoc geometrical approach. For a binary classification problem (two-dimensional map), we rigorously prove that the map is globally asymptotically stable. Numerical experiments on real-world application are performed to support the theoretical results by means of two different classification problems: Sentiment Polarity performed with a Large Language Model and Cat-Dog Image classification. For a greater number of classes, the numerical evidence shows the same behavior of the algorithm, and this is illustrated with a Natural Language Inference example. The experiment codes are publicly accessible online at the following repository: https://github.com/LautaroEst/sucpa-convergence

arxiv情報

提供元, 利用サービス

arxiv.jp, Google