Worst-Case Convergence Time of ML Algorithms via Extreme Value Theory

要約

この論文では、極値の統計を利用して、機械学習アルゴリズムの最悪の場合の収束時間を予測します。
タイミングは ML システムの重要な非機能特性であり、ML とそのサービスの可用性を保証するには、最悪の場合の収束時間を提供することが不可欠です。
ただし、最悪の場合の収束時間 (WCCT) などのタイミング特性は、(1) タイミング特性が AI の基礎となるプログラミング言語の構文またはセマンティクスでエンコードされていない、(2) それらの評価がアルゴリズムの実装と基礎となる言語の両方に依存するため、検証が困難です。
(3) その測定には不確実性とノイズが含まれます。
したがって、普及している形式的な方法や統計モデルは、WCCT の量と可能性に関する豊富な情報を提供できません。
私たちの重要な観察は、私たちが探しているタイミング情報が実行時間の極端な末尾を表しているということです。
したがって、結果の末尾にある極値の分布の理解と予測に焦点を当てた統計分野である極値理論 (EVT) は、ML パラダイムのトレーニングおよび推論フェーズで WCCT をモデル化および分析するための理想的なフレームワークを提供します。
EVT の数学的ツールに基づいて、ML の最悪の場合のタイミング特性を予測するための実用的なフレームワークを提案します。
一連の線形 ML トレーニング アルゴリズムにわたって、EVT がベイズ因子などの関連する統計手法よりも WCCT を予測する精度が高いことを示します。
一連の大規模な機械学習トレーニング アルゴリズムとディープ ニューラル ネットワーク推論について、WCCT、その予想されるリターン期間、およびその可能性を正確に予測するための EVT モデルの実現可能性と有用性を示します。

要約(オリジナル)

This paper leverages the statistics of extreme values to predict the worst-case convergence times of machine learning algorithms. Timing is a critical non-functional property of ML systems, and providing the worst-case converge times is essential to guarantee the availability of ML and its services. However, timing properties such as worst-case convergence times (WCCT) are difficult to verify since (1) they are not encoded in the syntax or semantics of underlying programming languages of AI, (2) their evaluations depend on both algorithmic implementations and underlying systems, and (3) their measurements involve uncertainty and noise. Therefore, prevalent formal methods and statistical models fail to provide rich information on the amounts and likelihood of WCCT. Our key observation is that the timing information we seek represents the extreme tail of execution times. Therefore, extreme value theory (EVT), a statistical discipline that focuses on understanding and predicting the distribution of extreme values in the tail of outcomes, provides an ideal framework to model and analyze WCCT in the training and inference phases of ML paradigm. Building upon the mathematical tools from EVT, we propose a practical framework to predict the worst-case timing properties of ML. Over a set of linear ML training algorithms, we show that EVT achieves a better accuracy for predicting WCCTs than relevant statistical methods such as the Bayesian factor. On the set of larger machine learning training algorithms and deep neural network inference, we show the feasibility and usefulness of EVT models to accurately predict WCCTs, their expected return periods, and their likelihood.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google