Annotation Cost-Efficient Active Learning for Deep Metric Learning Driven Remote Sensing Image Retrieval

要約

ディープメトリックラーニング (DML) は、リモートセンシング (RS) におけるコンテンツベースの画像検索 (CBIR) に効果的であることが示されています。
CBIR の DML 手法のほとんどは、ディープ ニューラル ネットワーク (DNN) のモデル パラメーターを正確に学習するために、多数の注釈付き画像に依存しています。
ただし、このようなデータの収集には時間とコストがかかります。
これに対処するために、RS の DML 駆動型 CBIR に合わせたアノテーションのコスト効率の高いアクティブ学習 (ANNEAL) 手法を提案します。
ANNEAL は、計量空間を正確に学習するために利用できる、類似画像と非類似画像のペアで構成される小さいながら有益なトレーニング セットを作成することを目的としています。
画像ペアの有益性は、不確実性と多様性の基準を組み合わせることによって評価されます。
画像ペアの不確実性を評価するために、次の 2 つのアルゴリズムを導入します。1) 計量基準に基づく不確実性推定 (MGUE)。
2) バイナリ分類器による不確実性推定 (BCGUE)。
MGUE アルゴリズムは、距離空間内の距離に基づいて、類似画像ペアと非類似画像ペア間の境界として機能するしきい値を自動的に推定します。
画像ペア間の類似性が推定された閾値に近いほど、その不確実性は高くなります。
BCGUE アルゴリズムは、正しい類似性ラベルを割り当てる際の分類器の信頼性に基づいて画像ペアの不確実性を推定します。
多様性基準は、クラスタリングベースの戦略を通じて評価されます。
ANNEAL は、MGUE または BCGUE アルゴリズムとクラスタリング ベースの戦略を組み合わせて、最も有益な画像ペアを選択します。その後、専門のアノテーターによってそれらのペアが類似または非類似としてラベル付けされます。
画像に注釈を付けるこの方法では、土地利用土地被覆クラス ラベルを使用して画像に注釈を付ける場合と比較して、注釈コストが大幅に削減されます。
2 つの RS ベンチマーク データセットの実験結果は、私たちの方法の有効性を示しています。
この作業のコードは \url{https://git.tu-berlin.de/rsim/anneal_tgrs} で公開されています。

要約(オリジナル)

Deep metric learning (DML) has shown to be effective for content-based image retrieval (CBIR) in remote sensing (RS). Most of DML methods for CBIR rely on a high number of annotated images to accurately learn model parameters of deep neural networks (DNNs). However, gathering such data is time-consuming and costly. To address this, we propose an annotation cost-efficient active learning (ANNEAL) method tailored to DML-driven CBIR in RS. ANNEAL aims to create a small but informative training set made up of similar and dissimilar image pairs to be utilized for accurately learning a metric space. The informativeness of image pairs is evaluated by combining uncertainty and diversity criteria. To assess the uncertainty of image pairs, we introduce two algorithms: 1) metric-guided uncertainty estimation (MGUE); and 2) binary classifier guided uncertainty estimation (BCGUE). MGUE algorithm automatically estimates a threshold value that acts as a boundary between similar and dissimilar image pairs based on the distances in the metric space. The closer the similarity between image pairs is to the estimated threshold value the higher their uncertainty. BCGUE algorithm estimates the uncertainty of the image pairs based on the confidence of the classifier in assigning correct similarity labels. The diversity criterion is assessed through a clustering-based strategy. ANNEAL combines either MGUE or BCGUE algorithm with the clustering-based strategy to select the most informative image pairs, which are then labelled by expert annotators as similar or dissimilar. This way of annotating images significantly reduces the annotation cost compared to annotating images with land-use land-cover class labels. Experimental results on two RS benchmark datasets demonstrate the effectiveness of our method. The code of this work is publicly available at \url{https://git.tu-berlin.de/rsim/anneal_tgrs}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google