Fast Fishing: Approximating BAIT for Efficient and Scalable Deep Active Image Classification

要約

ディープ アクティブ ラーニング (AL) は、ディープ ニューラル ネットワークをトレーニングするためのアノテーション コストを最小限に抑えることを目指しています。
BAIT は、フィッシャー情報に基づいて最近提案された AL 戦略であり、さまざまなデータセットにわたって優れたパフォーマンスを示しています。
ただし、BAIT は高い計算能力とメモリ要件があるため、大規模な分類タスクへの適用が妨げられ、その結果、現在の研究では評価において BAIT が無視されています。
このペーパーでは、BAIT の計算効率とスケーラビリティを向上させる 2 つの方法を紹介します。
特に、フィッシャー情報を近似することにより、時間の複雑さが大幅に軽減されます。
特に、i) 最も可能性の高いクラスに対する期待値を取得し、ii) 勾配計算の代替尤度を導くバイナリ分類タスクを構築することによって、元の定式化を適応させます。
その結果、これにより、ImageNet を含む大規模なデータセットで BAIT を効率的に使用できるようになります。
さまざまなデータセットにわたる統一的かつ包括的な評価は、私たちの近似が時間の複雑さを大幅に軽減しながら優れたパフォーマンスを達成することを示しています。
さらに、最新の AL 戦略を実装する広範なオープンソース ツールボックスを提供しており、https://github.com/dhuseljic/dal-toolbox で入手できます。

要約(オリジナル)

Deep active learning (AL) seeks to minimize the annotation costs for training deep neural networks. BAIT, a recently proposed AL strategy based on the Fisher Information, has demonstrated impressive performance across various datasets. However, BAIT’s high computational and memory requirements hinder its applicability on large-scale classification tasks, resulting in current research neglecting BAIT in their evaluation. This paper introduces two methods to enhance BAIT’s computational efficiency and scalability. Notably, we significantly reduce its time complexity by approximating the Fisher Information. In particular, we adapt the original formulation by i) taking the expectation over the most probable classes, and ii) constructing a binary classification task, leading to an alternative likelihood for gradient computations. Consequently, this allows the efficient use of BAIT on large-scale datasets, including ImageNet. Our unified and comprehensive evaluation across a variety of datasets demonstrates that our approximations achieve strong performance with considerably reduced time complexity. Furthermore, we provide an extensive open-source toolbox that implements recent state-of-the-art AL strategies, available at https://github.com/dhuseljic/dal-toolbox.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google