On the convergence of loss and uncertainty-based active learning algorithms

要約

損失の収束率と不確実性ベースの能動学習アルゴリズムをさまざまな仮定の下で検討します。
まず、線形分類器と線形分離可能なデータセットに適用した場合の収束率を保証する一連の条件を確立します。
これには、さまざまな損失関数を使用した損失ベースのサンプリングの収束率保証の実証が含まれます。
次に、確率的勾配降下法アルゴリズムの既知の収束速度限界を活用して、損失ベースのサンプリングの収束速度限界を導出できるフレームワークを導入します。
最後に、ポイント サンプリングと確率的 Polyak のステップ サイズを組み合わせた新しいアルゴリズムを提案します。
サンプリング プロセスに関する条件を確立し、特に滑らかな凸損失関数の場合、このアルゴリズムの収束率の保証を保証します。
私たちの数値結果は、提案されたアルゴリズムの効率を示しています。

要約(オリジナル)

We consider the convergence rates of loss and uncertainty-based active learning algorithms under various assumptions. Firstly, we establish a set of conditions that ensure convergence rates when applied to linear classifiers and linearly separable datasets. This includes demonstrating convergence rate guarantees for loss-based sampling with various loss functions. Secondly, we introduce a framework that allows us to derive convergence rate bounds for loss-based sampling by leveraging known convergence rate bounds for stochastic gradient descent algorithms. Lastly, we propose a new algorithm that combines point sampling and stochastic Polyak’s step size. We establish a condition on the sampling process, ensuring a convergence rate guarantee for this algorithm, particularly in the case of smooth convex loss functions. Our numerical results showcase the efficiency of the proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google