On the convergence of loss and uncertainty-based active learning algorithms

要約

私たちは、さまざまな仮定の下で、損失の収束率と不確実性ベースの能動学習アルゴリズムを研究します。
まず、収束率の保証が成立する一連の条件を提供し、これを線形分類器と線形分離可能なデータセットに使用して、損失ベースのサンプリングとさまざまな損失関数の収束率の保証を示します。
2 番目に、確率的勾配降下法アルゴリズムの既知の収束速度限界を展開することで、損失ベースのサンプリングの収束速度限界を導出できるフレームワークを提供します。
3 番目で最後に、点のサンプリングと確率的 Polyak のステップ サイズを組み合わせた能動学習アルゴリズムを提案します。
滑らかな凸損失関数に対するこのアルゴリズムの収束率保証を保証するサンプリングの条件を示します。
数値結果は、提案したアルゴリズムの効率を示しています。

要約(オリジナル)

We study convergence rates of loss and uncertainty-based active learning algorithms under various assumptions. First, we provide a set of conditions under which a convergence rate guarantee holds, and use this for linear classifiers and linearly separable datasets to show convergence rate guarantees for loss-based sampling and different loss functions. Second, we provide a framework that allows us to derive convergence rate bounds for loss-based sampling by deploying known convergence rate bounds for stochastic gradient descent algorithms. Third, and last, we propose an active learning algorithm that combines sampling of points and stochastic Polyak’s step size. We show a condition on the sampling that ensures a convergence rate guarantee for this algorithm for smooth convex loss functions. Our numerical results demonstrate efficiency of our proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google