Deep Active Learning Using Barlow Twins

要約

畳み込みニューラル ネットワーク (CNN) の汎化パフォーマンスは、主にトレーニング イメージの量、質、および多様性によって影響を受けます。
多くの実際のアプリケーションでは、データの取得は簡単ですが、ラベル付けには費用と時間がかかります。
タスクのアクティブ ラーニングの目標は、注釈後のトレーニングに使用できるラベルのないプールから最も有益なサンプルを引き出すことです。
まったく異なる目的の自己教師あり学習は、大規模なコンピューター ビジョン ベンチマークでの教師ありメソッドとのパフォーマンスのギャップを埋めることで、流星の人気を得ています。
最近の自己教師あり学習 (SSL) は、入力サンプルの歪みに対して不変である低レベルの表現を生成し、人工的に作成された歪みに対して不変性をエンコードできることを示しています。
ローテーション、ソラリゼーション、クロッピングなど。自己教師あり学習 (SSL) アプローチは、学習のためのよりシンプルでスケーラブルなフレームワークに依存しています。
この論文では、自己教師あり学習のメインフォールドを使用したアクティブ ラーニングの角度からこれら 2 つのアプローチ ファミリーを統合し、BarlowTwins(DALBT) を使用したディープ アクティブ ラーニングを提案します。
– Barlow Twins の教師付き損失フレームワークを、モデルが人工的に作成された歪みの不変性をエンコードできる設定にします。
回転、ソラリゼーション、トリミングなど

要約(オリジナル)

The generalisation performance of a convolutional neural networks (CNN) is majorly predisposed by the quantity, quality, and diversity of the training images. All the training data needs to be annotated in-hand before, in many real-world applications data is easy to acquire but expensive and time-consuming to label. The goal of the Active learning for the task is to draw most informative samples from the unlabeled pool which can used for training after annotation. With total different objective, self-supervised learning which have been gaining meteoric popularity by closing the gap in performance with supervised methods on large computer vision benchmarks. self-supervised learning (SSL) these days have shown to produce low-level representations that are invariant to distortions of the input sample and can encode invariance to artificially created distortions, e.g. rotation, solarization, cropping etc. self-supervised learning (SSL) approaches rely on simpler and more scalable frameworks for learning. In this paper, we unify these two families of approaches from the angle of active learning using self-supervised learning mainfold and propose Deep Active Learning using BarlowTwins(DALBT), an active learning method for all the datasets using combination of classifier trained along with self-supervised loss framework of Barlow Twins to a setting where the model can encode the invariance of artificially created distortions, e.g. rotation, solarization, cropping etc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google