MoBYv2AL: Self-supervised Active Learning for Image Classification

要約

近年、ディープラーニング(DL)モデルにおいて能動学習(AL)が人気を博している。これは、特に学習者が大規模なラベル付きデータセットを必要とする場合に、効率的で情報量の多いサンプリングを行うためである。一般に、サンプリングと学習は段階的に行われ、さらにバッチが追加される。この戦略の主なボトルネックは、モデルによって学習される表現が狭く、全体的なAL選択に影響を与えることである。 我々は、画像分類のための新しい自己教師付き能動学習フレームワークであるMoBYv2ALを発表する。我々の貢献は、最も成功した自己教師付き学習アルゴリズムの一つであるMoBYをALパイプラインに昇華させることにある。このように、我々は下流のタスクを考慮した目的関数を追加し、対照的損失と共同で最適化する。さらに、新しい例に対するラベル付けからデータ分布の選択関数を導出する。最後に、我々のパイプラインの頑健性と性能を画像分類タスクに対してテストし、研究する。その結果、最近のAL手法と比較して、最先端の結果を得ることに成功した。利用可能なコード: https://github.com/razvancaramalau/MoBYv2AL

要約(オリジナル)

Active learning(AL) has recently gained popularity for deep learning(DL) models. This is due to efficient and informative sampling, especially when the learner requires large-scale labelled datasets. Commonly, the sampling and training happen in stages while more batches are added. One main bottleneck in this strategy is the narrow representation learned by the model that affects the overall AL selection. We present MoBYv2AL, a novel self-supervised active learning framework for image classification. Our contribution lies in lifting MoBY, one of the most successful self-supervised learning algorithms, to the AL pipeline. Thus, we add the downstream task-aware objective function and optimize it jointly with contrastive loss. Further, we derive a data-distribution selection function from labelling the new examples. Finally, we test and study our pipeline robustness and performance for image classification tasks. We successfully achieved state-of-the-art results when compared to recent AL methods. Code available: https://github.com/razvancaramalau/MoBYv2AL

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL