ALBench: A Framework for Evaluating Active Learning in Object Detection

要約

能動学習は、機械学習の自動化において重要な技術である。ニューラルネットのアーキテクチャ設計の自動化を目指すNeural Architecture Search (NAS) とは対照的に、能動学習は学習データの選択の自動化を目指している。特に、正のサンプルがまばらに分布しているロングテール課題の学習には欠かせない。能動学習は、効率的なデータ選択と漸進的なモデル学習により、高価なデータアノテーションの問題を軽減する。アクティブラーニングでは、ラベルの付いていない全てのサンプルにアノテーションを付けるのではなく、最も価値のあるサンプルを選択し、繰り返しアノテーションを付けていく。能動学習は画像分類の分野ではよく使われているが、物体検出の分野ではまだ十分に検討されていない。現在の物体検出に関するアプローチの多くは、異なる設定で評価されており、その性能を公平に比較することが困難である。本論文では、この分野の研究を促進するために、物体検出における能動学習を評価するためのALBenchと名付けられた能動学習ベンチマークフレームワークを寄稿する。このALBenchフレームワークは、ディープモデルの自動学習システム上で開発され、使いやすく、異なる能動学習アルゴリズムと互換性があり、同じ学習とテストのプロトコルを保証する。この自動化されたベンチマークシステムにより、研究者が文献の性能を簡単に再現し、先行研究との客観的な比較を行うことができるようになることを期待しています。コードはGithubを通じて公開される予定です。

要約(オリジナル)

Active learning is an important technology for automated machine learning systems. In contrast to Neural Architecture Search (NAS) which aims at automating neural network architecture design, active learning aims at automating training data selection. It is especially critical for training a long-tailed task, in which positive samples are sparsely distributed. Active learning alleviates the expensive data annotation issue through incrementally training models powered with efficient data selection. Instead of annotating all unlabeled samples, it iteratively selects and annotates the most valuable samples. Active learning has been popular in image classification, but has not been fully explored in object detection. Most of current approaches on object detection are evaluated with different settings, making it difficult to fairly compare their performance. To facilitate the research in this field, this paper contributes an active learning benchmark framework named as ALBench for evaluating active learning in object detection. Developed on an automatic deep model training system, this ALBench framework is easy-to-use, compatible with different active learning algorithms, and ensures the same training and testing protocols. We hope this automated benchmark system help researchers to easily reproduce literature’s performance and have objective comparisons with prior arts. The code will be release through Github.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL