On the Convergence of Loss and Uncertainty-based Active Learning Algorithms

要約

確率的勾配降下法 (SGD) アルゴリズムを使用して機械学習モデルをトレーニングするために必要な収束率とデータ サンプル サイズを調査します。このアルゴリズムでは、データ ポイントは損失値または不確実性値のいずれかに基づいてサンプリングされます。
これらのトレーニング方法は、アクティブ ラーニングとデータ サブセット選択の問題に特に関連します。
一定のステップ サイズ更新による SGD の場合、二乗ヒンジ損失と同様のトレーニング損失関数を使用した線形分類器と線形分離可能なデータセットの収束結果を示します。
さらに、幅広い損失ベースのサンプリング戦略と滑らかな凸トレーニング損失関数を考慮して、より一般的な分類器とデータセットに分析を拡張します。
我々は、期待される確率的 Polyak のステップ サイズを達成する適応ステップ サイズを持つ SGD を利用する、Adaptive-Weight Sampling (AWS) と呼ばれる新しいアルゴリズムを提案します。
AWS のスムーズな凸トレーニング損失関数の収束率の結果を確立します。
私たちの数値実験では、正確な損失値または推定損失値を使用して、さまざまなデータセットに対する AWS の効率性を実証しています。

要約(オリジナル)

We investigate the convergence rates and data sample sizes required for training a machine learning model using a stochastic gradient descent (SGD) algorithm, where data points are sampled based on either their loss value or uncertainty value. These training methods are particularly relevant for active learning and data subset selection problems. For SGD with a constant step size update, we present convergence results for linear classifiers and linearly separable datasets using squared hinge loss and similar training loss functions. Additionally, we extend our analysis to more general classifiers and datasets, considering a wide range of loss-based sampling strategies and smooth convex training loss functions. We propose a novel algorithm called Adaptive-Weight Sampling (AWS) that utilizes SGD with an adaptive step size that achieves stochastic Polyak’s step size in expectation. We establish convergence rate results for AWS for smooth convex training loss functions. Our numerical experiments demonstrate the efficiency of AWS on various datasets by using either exact or estimated loss values.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google