Toward Realistic Evaluation of Deep Active Learning Algorithms in Image Classification

要約

アクティブ ラーニング (AL) は、データ プールから最も有益な観察結果を対話的にクエリすることにより、ラベル付けの負担を軽減することを目的としています。
過去数年間の AL クエリ方法の改善に関する広範な研究にもかかわらず、最近の研究では、特に半教師あり (Semi-SL) や自己教師あり学習 (Self-SL) などの新たな代替トレーニング パラダイムに照らして、AL の利点が疑問視されています。
）。
このように、今日の AL の文献は一貫性のない状況を描いており、実践者は AL を自分のタスクに使用するかどうか、またどのように使用するかを疑問に思っています。
この不均一な状況は、複雑で不均衡なデータセット、現実的なラベリング シナリオ、体系的な方法構成、Semi-SL と Self-SL の統合などの主要なパラメーターを含む、AL アルゴリズムの体系的かつ現実的な評価の欠如によって引き起こされると主張します。
この目的のために、AL ベンチマーク スイートを提示し、AL をいつ、どのように適用するかという疑問に光を当てる 5 つのデータセットで広範な実験を実行します。

要約(オリジナル)

Active Learning (AL) aims to reduce the labeling burden by interactively querying the most informative observations from a data pool. Despite extensive research on improving AL query methods in the past years, recent studies have questioned the advantages of AL, especially in the light of emerging alternative training paradigms such as semi-supervised (Semi-SL) and self-supervised learning (Self-SL). Thus, today’s AL literature paints an inconsistent picture and leaves practitioners wondering whether and how to employ AL in their tasks. We argue that this heterogeneous landscape is caused by a lack of a systematic and realistic evaluation of AL algorithms, including key parameters such as complex and imbalanced datasets, realistic labeling scenarios, systematic method configuration, and integration of Semi-SL and Self-SL. To this end, we present an AL benchmarking suite and run extensive experiments on five datasets shedding light on the questions: when and how to apply AL?

arxiv情報

提供元, 利用サービス

arxiv.jp, Google