TALISMAN: Targeted Active Learning for Object Detection with Rare Classes and Slices using Submodular Mutual Information

要約

ディープ ニューラル ネットワーク ベースの物体検出器は、自動運転車や生物医学画像処理などのさまざまな分野で大きな成功を収めています。その成功は、関心のある分野からの大量のデータに依存することが知られています。
ディープ モデルは、全体的な精度の点で優れたパフォーマンスを発揮することがよくありますが、まれではあるが重要なデータ スライスではパフォーマンスが低下することがよくあります。
たとえば、「夜のオートバイ」や「夜の自転車」などのデータ スライスは、多くの場合まれですが、自動運転アプリケーションにとって非常に重要なスライスであり、そのようなまれなスライスの偽陰性は、不運な障害や事故につながる可能性があります。
アクティブ ラーニング (AL) は、人間が関与してトレーニング データセットを漸進的かつ適応的に構築するためのよく知られたパラダイムです。
ただし、現在の AL ベースの取得関数は、画像の不確実性スコアまたはグローバル記述子に基づいているため、まれなスライスを含む現実世界のデータセットに取り組むには十分に装備されていません。
Submodular MutuAl iNformation を使用したレア スライスによるターゲット アクティブ ラーニングまたはオブジェクト検出のための新しいフレームワークである TALISMAN を提案します。
私たちの方法は、関心領域（RoI）の特徴を使用してインスタンス化されたサブモジュラー相互情報関数を使用して、まれなスライスでデータポイントを効率的にターゲットにして取得します。
標準の PASCAL VOC07+12 および実世界の自動運転データセットである BDD100K でフレームワークを評価します。
まれなスライスの平均精度とmAPの点で、TALISMANが他の方法よりも優れていることがわかります。

要約(オリジナル)

Deep neural networks based object detectors have shown great success in a variety of domains like autonomous vehicles, biomedical imaging, etc. It is known that their success depends on a large amount of data from the domain of interest. While deep models often perform well in terms of overall accuracy, they often struggle in performance on rare yet critical data slices. For example, data slices like ‘motorcycle at night’ or ‘bicycle at night’ are often rare but very critical slices for self-driving applications and false negatives on such rare slices could result in ill-fated failures and accidents. Active learning (AL) is a well-known paradigm to incrementally and adaptively build training datasets with a human in the loop. However, current AL based acquisition functions are not well-equipped to tackle real-world datasets with rare slices, since they are based on uncertainty scores or global descriptors of the image. We propose TALISMAN, a novel framework for Targeted Active Learning or object detectIon with rare slices using Submodular MutuAl iNformation. Our method uses the submodular mutual information functions instantiated using features of the region of interest (RoI) to efficiently target and acquire data points with rare slices. We evaluate our framework on the standard PASCAL VOC07+12 and BDD100K, a real-world self-driving dataset. We observe that TALISMAN outperforms other methods by in terms of average precision on rare slices, and in terms of mAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google