Active Learning Guided by Efficient Surrogate Learners

要約

単一のデータ ポイントが新しいラベルを受け取るたびに深層学習モデルを再トレーニングすることは、トレーニング プロセスに固有の複雑さがあるため、現実的ではありません。
その結果、既存のアクティブ ラーニング (AL) アルゴリズムは、AL の各反復中にアノテーション用にデータ ポイントのセットが集合的に選択されるバッチベースのアプローチを採用する傾向があります。
ただし、この戦略は頻繁に冗長なサンプリングにつながり、最終的には標識手順の有効性を損ないます。
このペーパーでは、ニューラル ネットワーク主学習器と組み合わせてガウス過程サロゲートの力を利用する新しい AL アルゴリズムを紹介します。
私たちが提案したモデルは、新しいデータ インスタンスごとに代理学習器を適切に更新し、個々のラベルごとに主モデルを完全に再トレーニングすることなく、ニューラル ネットワークの継続的な学習ダイナミクスをエミュレートして活用できるようにします。
4 つのベンチマーク データセットでの実験では、このアプローチにより、最先端技術のパフォーマンスに匹敵する、またはそれに匹敵する大幅な機能強化がもたらされることが実証されています。

要約(オリジナル)

Re-training a deep learning model each time a single data point receives a new label is impractical due to the inherent complexity of the training process. Consequently, existing active learning (AL) algorithms tend to adopt a batch-based approach where, during each AL iteration, a set of data points is collectively chosen for annotation. However, this strategy frequently leads to redundant sampling, ultimately eroding the efficacy of the labeling procedure. In this paper, we introduce a new AL algorithm that harnesses the power of a Gaussian process surrogate in conjunction with the neural network principal learner. Our proposed model adeptly updates the surrogate learner for every new data instance, enabling it to emulate and capitalize on the continuous learning dynamics of the neural network without necessitating a complete retraining of the principal model for each individual label. Experiments on four benchmark datasets demonstrate that this approach yields significant enhancements, either rivaling or aligning with the performance of state-of-the-art techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google