Annotation Cost-Efficient Active Learning for Deep Metric Learning Driven Remote Sensing Image Retrieval

要約

ディープメトリックラーニング (DML) は、リモートセンシング (RS) におけるコンテンツベースの画像検索 (CBIR) に非常に効果的であることが示されています。
CBIR の DML メソッドのほとんどは、ディープ ニューラル ネットワークのモデル パラメーターを正確に学習するために、多くの注釈付き画像に依存しています。
ただし、多くの画像注釈を収集するには時間とコストがかかります。
これに対処するために、RS の DML 駆動型 CBIR 用に特別に設計されたアノテーションのコスト効率の高いアクティブ学習 (ANNEAL) 手法を提案します。
ANNEAL は、深い計量空間を学習するために利用される、類似画像と非類似画像のペアで構成される小さいながら有益なトレーニング セットを作成することを目的としています。
画像ペアの有益性は、不確実性と多様性の基準を組み合わせて評価されます。
画像ペアの不確実性を評価するために、次の 2 つのアルゴリズムを導入します。1) 計量ガイドによる不確実性推定 (MGUE)。
2) バイナリ分類器による不確実性推定 (BCGUE)。
MGUE は、距離空間内の距離に基づいて、類似画像ペアと非類似画像ペアの間の「境界」として機能するしきい値を自動的に推定します。
画像ペア間の類似性が推定閾値に近いほど、その不確実性は高くなります。
BCGUE は、正しい類似性ラベルを割り当てる際の分類器の信頼性に基づいて、画像ペアの不確実性を推定します。
多様性基準は、クラスタリングベースの戦略を通じて評価されます。
ANNEAL は、MGUE または BCGUE とクラスタリング ベースの戦略を組み合わせて、最も有益な画像ペアを選択します。
選択された画像ペアは専門のアノテーターに送信され、類似または非類似としてラベル付けされます。
画像に注釈を付けるこの方法では、LULC ラベルを使用して画像に注釈を付けるコストと比較して、注釈コストが大幅に削減されます。
2 つの RS ベンチマーク データセットに対して実行された実験結果は、私たちの手法の有効性を示しています。
提案されたメソッドのコードは、論文が受理され次第公開されます。

要約(オリジナル)

Deep metric learning (DML) has shown to be very effective for content-based image retrieval (CBIR) in remote sensing (RS). Most of DML methods for CBIR rely on many annotated images to accurately learn model parameters of deep neural networks. However, gathering many image annotations is time consuming and costly. To address this, we propose an annotation cost-efficient active learning (ANNEAL) method specifically designed for DML driven CBIR in RS. ANNEAL aims to create a small but informative training set made up of similar and dissimilar image pairs to be utilized for learning a deep metric space. The informativeness of the image pairs is assessed combining uncertainty and diversity criteria. To assess the uncertainty of image pairs, we introduce two algorithms: 1) metric-guided uncertainty estimation (MGUE); and 2) binary classifier guided uncertainty estimation (BCGUE). MGUE automatically estimates a threshold value that acts as a ‘boundary’ between similar and dissimilar image pairs based on the distances in the metric space. The closer the similarity between image pairs to the estimated threshold value the higher their uncertainty. BCGUE estimates the uncertainty of the image pairs based on the confidence of the classifier in assigning the correct similarity label. The diversity criterion is assessed through a clustering-based strategy. ANNEAL selects the most informative image pairs by combining either MGUE or BCGUE with clustering-based strategy. The selected image pairs are sent to expert annotators to be labeled as similar or dissimilar. This way of annotating images significantly reduces the annotation cost compared to the cost of annotating images with LULC labels. Experimental results carried out on two RS benchmark datasets demonstrate the effectiveness of our method. The code of the proposed method will be publicly available upon the acceptance of the paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google